AI još uvijek ne uspijeva na robusnom prepoznavanju rukom pisane znamenke (i kako to popraviti)

Pohvaljeno je Deep Learning da riješi sve, od pokretanja automobila do svjetske klime. Pa ipak, duboke neuronske mreže (radni konj Dubokog učenja) ne uspijevaju na zadovoljavajući način riješiti ni najskromnije zadatke: robusno prepoznavanje rukom pisanih znamenki. Razmotrite sljedeće primjere:

Broj ispod svake znamenke prikazuje predviđanje mreže. Ona pravilno razvrstava sve ove uzorke. Pa u čemu je problem? Pa, uzmite u obzir sljedeće slike:

… Male izmjene mogu u potpunosti uništiti mrežne odluke.

Slike smo malo izmijenili, ali sada neuronska mreža sve pogrešno klasificira. Ovakve vrste "protivničkih" ulaza poznate su dugi niz godina. U osnovi utječu na svaku aplikaciju Deep Learning, od prepoznavanja objekata, semantičke segmentacije slike, prepoznavanja govora do filtriranja neželjene pošte. Prilično je pogođena svaka trenutna neuronska mreža koja bi mogla biti napadnuta (uključujući Siri ili Amazon Echo).

Ali postaje još gore: razmotrite sljedeći skup slika:

Ove slike su s velikom pouzdanošću klasificirane kao

Prepoznajete li čak nagovještaj rukopisne znamenke? Ne? Neuronska mreža izuzetno je sigurna da su to sve nule. Ove takozvane neprepoznatljive slike naglašavaju samo još jedan problem današnjih neuronskih mreža: ponašaju se potpuno pogrešno ako su ulazi predaleko od "normalnih" podataka (u ovom slučaju šum umjesto znamenki).

Mnogi su prepoznali ovaj problem robusnosti kao jedan od glavnih blokova puta ka implementaciji Dubokog učenja. Ne samo zbog sigurnosnih razloga, već i zbog toga što ovi propusti ističu da mi nemamo pojma kako neuronske mreže stvarno djeluju i koje značajke slike koriste za razvrstavanje. Broj radova koji pokušavaju riješiti ovaj problem snažno se povećao tijekom posljednje dvije godine, ali dosad nije uspjelo. Zapravo, neuronska mreža koju smo koristili za klasificiranje gore napisanih rukom trenutno je prepoznata kao najpouzdaniji model (Madry i sur.). Ta činjenica ukazuje koliko smo daleko od snažnih modela prepoznavanja - čak i za jednostavne rukom pisane znamenke.

U našem nedavnom radu predstavljamo novi koncept za čvrstu klasifikaciju slika. Ideja je vrlo jednostavna: ako je slika klasificirana kao sedam, ona bi trebala sadržavati otprilike dvije crte - jedna kraća, jedna duža - koje se međusobno dodiruju. To je generativni način razmišljanja o brojkama, što je prilično prirodno za ljude i omogućava nam da lako uočimo signal (linije) čak i pri velikim količinama buke i uznemirenosti. Imajući takav model trebao bi biti lako klasificirati gore navedene sporedne primjere u ispravnu klasu. Učenje generativnog modela znamenki (recimo nula) prilično je jednostavno (koristeći varijabilni autoenkoder) i, ukratko, djeluje na sljedeći način: polazimo od latentnog prostora promjenjivih smetnji (koje mogu zabilježiti stvari poput debljine ili nagiba znamenke) i nauče se iz podataka) i generiraju sliku pomoću neuronske mreže. Potom prikazujemo primjere ručno napisanih nula i uvježbavamo mrežu za proizvodnju sličnih. Na kraju treninga mreža je naučila o prirodnim varijacijama rukopisa napisanih nulama:

Generativni model nule uči u tipične varijacije rukom ispisanih znamenki (desna strana).

Naučimo takav generativni model za svaku znamenku. Zatim, kad dođe novi ulaz, provjeravamo koji model s najboljim brojem može najbolje približiti novi unos. Taj se postupak obično naziva analiza po sintezi, jer analiziramo sadržaj slike prema modelu koji je najbolje može sintetizirati. S druge strane, standardne feedforward mreže nemaju mehanizme za povratnu informaciju za provjeru da li ulazna slika zaista nalikuje zaključenoj klasi:

Feedforward mreže izravno idu od slike do klase i ne mogu provjeriti ima li klasifikacija smisla. Naš model analize po sintezi provjerava koje su značajke slike prisutne i razvrstava prema kojoj klasi ima najviše smisla.

To je zapravo ključna razlika: mreže za prijenos ne mogu provjeriti njihova predviđanja, morate im vjerovati. Naš model analize po sintezi s druge strane izgleda jesu li određene značajke slike stvarno prisutne u ulaznim podacima prije nego što dođemo do zaključka.

Za ovaj postupak ne treba nam savršen generativni model. Naš model rukopisnih znamenki sigurno nije savršen: pogledajte mutne rubove. Unatoč tome, naš model može klasificirati ručno napisane znamenke s velikom točnošću (99,0%) i njegove odluke imaju puno smisla za ljude. Na primjer, model će uvijek signalizirati nisku pouzdanost na zvučnim slikama, jer ne izgledaju kao nijedna znamenka koju je prije vidio. Slike najbliže buci koju model analize sintezom i dalje klasificira kao znamenke s visokim povjerenjem imaju puno smisla za ljude:

Pokušali smo sintetizirati neprepoznatljive slike koje su i dalje klasificirane kao nule s velikim pouzdanjem pomoću našeg modela analize po sintezi. Ovo je najbolje što imamo.

U trenutnom vrhunskom modelu Madry i sur. ustanovili smo da su minimalne smetnje čistih cifara često dovoljne da bi se ukinula klasifikacija modela. Učiniti isto za naš model analize po sintezi daje nevjerojatno različite rezultate:

Primjeri primjenjivanja za model analize po sintezi. Možete li pogoditi koji je bio izvorni broj?

Imajte na umu da smetnje imaju puno smisla za ljude i ponekad je teško odlučiti se u koju klasu bi slika trebala biti svrstana. Upravo se to očekuje za robusnim klasifikacijskim modelom.

Naš model ima nekoliko značajnih značajki. Na primjer, odluke modela analize po sintezi mnogo je lakše protumačiti jer se izravno može vidjeti koje značajke usmjeravaju model prema određenoj odluci. Uz to, čak možemo izvući i neke niže granice njegove robusnosti.

Model analize po sintezi još se ne podudara s ljudskom percepcijom i još je dug put (pogledajte cjelokupnu analizu u našem rukopisu). Unatoč tome, vjerujemo da su ovi rezultati izuzetno ohrabrujući i nadamo se da će naš rad utrti put ka novoj klasi klasifikacijskih modela koji su točni, robusni i interpretabilni. Moramo još mnogo naučiti o tim novim modelima, a najmanje o tome kako poboljšati zaključivanje i kako ih rasporediti na složenije skupove podataka (poput CIFAR ili ImageNet). Trudimo se odgovoriti na ova pitanja i veselimo se što ćemo s vama ubuduće dijeliti još rezultata.

Prema prvom advercijalno robusnom modelu neuronske mreže na MNIST-u

Lukas Schott, Jonas Rauber, Matthias Bethge, Wieland Brendel
arXiv: 1805,09190