Cipul NeuRRAM, un nou pas semnificativ în domeniul inteligenței artificiale

O echipă de cercetători au reușit, prin colaborarea cu bioingineri de la Universitatea California San Diego (UCSD), să elaboreze cipul NeuRRAM, prezentându-și săptămânile trecute, pe data de 17 august, rezultatele într-un articol din prestigioasa revistă Nature. Cipul dezvoltat de către aceștia poartă denumirea de NeuRRAM, fiind primul cip care permite „calculul în memorie”, ceea ce dă undă verde unei largi game de aplicații pentru inteligența artificială, utilizând, în același timp, doar un mic procent din energia consumată de alte platforme, fără a face în schimb compromisuri în ceea ce privește precizia și acuratețea rezultatelor. Cipul, care poate rula o mare varietate de aplicații bazate pe inteligență artificială, a fost proiectat și construit de către o echipă internațională de cercetători, iar ceea ce îl diferențiază de altele este faptul că poate face foarte multe lucruri, utilizând doar o fracțiune din energia consumată de platformele de calcul utilizate, până acum, de inteligența artificială. Platformele convenționale de inteligență artificială încep să devină din ce în ce mai voluminoase și, de altfel, sunt constrânse să utilizeze servere de date, care funcționează în cloud, mult mai mari.

Implicit, acest cipul neuromorfic NeuRRAM aduce domeniul inteligenței artificiale mult mai aproape de posibilitatea de a fi a rula pe o gamă largă de dispozitive periferice, deconectate de cloud. Acest lucru se traduce prin faptul că ar putea efectua chiar sarcini cognitive sofisticate, oricând și oriunde, fără a se baza pe conexiunea de rețea la un server centralizat – aplicațiile unui astfel de dispozitiv și-ar găsi finalitate și în viața reală, fie că vorbim despre brățări fitness, ceasuri inteligente, căști de realitate virtuală, senzori sau alte dispozitive inteligente. Cu alte cuvinte, cipurile de acest gen încep să imite, cu o fidelitate foarte mare, însăși fiziologia minții umane și structura creierului, rezultate revoluționare fiind făcute și în această direcție, iar despre acest lucru am scris în acest articol. Cipul NeuRRAM nu doar că este de două ori mai eficient din punct de vedere al ergonomiei decât cipurile care se bazează pe tehnologia de tip ”compute-in-memory”, de ultimă generație, însă oferă și rezultate la fel de precise precum cipurile digitale convenționale.

Pe lângă toate acestea, cipul NeuRRAM este extrem de versatil și suportă arhitecturi și modele diferite de rețele neuronale. Acest lucru înseamnă că cipul ar putea fi folosit pentru o gamă variată de aplicații, printre care recunoașterea fidelă și reconstrucția anumitor imagini, ușurința de recunoaștere a vocii și identificare a unei persoane, precum și analizarea mult mai rapidă a unor baze de date pe baza unor criterii definite anterior. Weier Wan, autor corespondent al lucrării, a declarat că „Ideea convențională este că  dacă vrei să obții un randament mult mai mare al calcului în memorie, trebuie să faci compromisuri în ceea ce privește versatilitatea, deci funcționalitatea, unui cip, însă cipul nostru – NeuRRAM –  obține această eficiență fără a sacrifica, în schimb, versatilitatea sa. În momentul de față, procesele de calcul bazate AI sunt consumatoare mari de energie, pe lângă faptul că sunt și foarte costisitoare din punct de vedere computațional. Cele mai multe aplicații AI de pe dispozitivele periferice implică mutarea datelor de pe dispozitive în cloud, unde acestea sunt procesate și analizate. Ulterior, rezultatele sunt transferate înapoi la dispozitiv – acest lucru este absolut necesar deoarece majoritatea dispozitivelor periferice sunt alimentate cu baterii și, prin urmare, dispun doar de o cantitate limitată de energie care poate fi dedicată calculului computațional.

Prin posibilitatea de a reduce consumul de energie necesar realizării acestor pași, acest nou cip ar putea duce la dispozitive periferice mai puternice, mai inteligente și mai accesibile, ceea ce înseamnă o producție mai inteligentă. Pe lângă toate acestea, ar putea duce și la o mai bună confidențialitate a datelor, deoarece transferul acestora de la dispozitivele periferice către cloud vine, ca întotdeauna, cu riscuri de securitate. Pentru a rezolva această problemă a transferului de date, cercetătorii au folosit ceea ce se numește „memorie rezistivă cu acces aleatoriu” (în engleză – resistive random-access memory). Acest tip de memorie permite calculul direct în memorie, mai degrabă decât în unități de calcul separate. RRAM și alte tehnologii de memorie emergente utilizate ca „rețele de sinaspe pentru calculul neuromorfic” au fost dezvoltate în laboratorului lui Philip Wong, consilierul lui Wan la Stanford și, de altfel, unul dintre autorii principali ai lucrării. Calculul cu cipuri RRAM nu este o noutate, însă duce la o scădere în ceea ce privește acuratețea calculelor efectuate pe cip și la un deficit al flexibilității arhitecturii cipului.

„Calculul în memorie a fost o practică destul de obișnuită în ingineria neuromorfică, chiar de când a fost introdus acest protocol, acum mai bine de 30 de ani”, a declarat unul dintre autori. „Ceea ce nou în cazul cipului NeuRRAM este faptul că eficiența sa extremă «vine la pachet» cu o mare flexibilitate de a fi folosit în diverse aplicații bazate pe AI, fără a pierde din acuratețe – așa cum se întâmplă în platformele digitale standard, de calcul general”. Pentru ca această lucrare să aibă un decurs optim și finalitatea dorită, autorii au elaborat o metodologie extrem de complexă, care a vizat mai multe niveluri de „co-optimizare”, pe toate straturile de abstractizare ale hardware-ului și software-ului, de la proiectarea cipului până la configurarea acestuia pentru a rula o gamă variată de sarcini bazate pe AI. În plus, echipa s-a asigurat și de faptul că ține cont de diversele constrângeri care se traduc atât prin fizica exactă a dispozitivelor de memorie, funcționalitatea circuitelor și arhitectura rețelelor. „Acest cip ne oferă, în momentul de față, un fel de «platformă» care ne permite să abordăm cu succes toate aceste probleme, de la dispozitive, până la circuite și algoritmi”.

Performanța cipului NeuRRAM

Cercetătorii au măsurat, înainte de toate, eficiența energetică a cipului, cuantificând o variabilă cunoscută sub denumirea de „produsul dintre energie-întârziere” (în limba engleză, energy-delay product, EDP). EDP combină atât cantitatea de energie consumată pentru fiecare dintre operațiunile făcute, cât și timpul necesar pentru ca operațiunea respectivă să fie finalizată. În funcție de această variabilă, se pare că cipul NeuRRAM atinge un EDP de 1,6 până la 2,3 mai mic (deci mai practic) și o densitate de calcul de 7 până la 13 ori mai mare decât cipurile de ultimă generație. Inginerii au rulat diverse tipuri de sarcini bazate pe AI pe cipul pe care l-au creat.

Astfel, au reușit să obțină o precizie de 99% în ceea ce privește recunoașterea cifrelor scrise de mână, 85,7% într-o sarcină care viza clasificarea imaginilor și 84,7% într-o sarcină în care trebuiau recunoscute comenzi vocale Google. De asemenea, cipul a obținut și rezultate cu 70% mai bune în ceea ce privește reconstrucția unei imagini, în vederea recuperării acesteia. Rezultatele testelor au fost, evident, comparate cu cele ale cipurilor digitale deja existente, care efectuează calcule cu aceeași precizie de bit, în general, însă consumă mult mai multă energie. O contribuție esențială în lucrare este faptul că toate rezultatele sunt obținute direct pe hardware, deci sunt palpabile, pe când, în alte studii întreprinse în aceeași direcție, rezultatele de referință AI au fost adesea obținute, parțial, prin simulare software.

Următorii pași în dezvoltarea cipului includ îmbunătățirea arhitecturii și circuitelor, precum și încercarea de a scala proiectul la noduri tehnologice mult mai avansate. Inginerii intenționează, de asemenea, să abordeze și alte aplicații, cum ar fi rețelele neuronale cu spițe (spiking neural networks). „Putem obține rezultate mult mai bune la nivel de dispozitiv, putem îmbunătăți proiectarea circuitelor pentru a implementa caracteristici suplimentare și putem aborda diverse aplicații cu platforma noastră dinamică NeuRRAM”, a declarat Rajkumar Kubendran, profesor la Universitatea din Pittsburgh. În plus, Wan, autorul corespondent al proiectului, este membru fondator al unui start-up care lucrează la producerea tehnologiei de calcul în memorie. „Dat fiind faptul că sunt cercetător și inginer, ambiția mea este de a duce inovațiile din laboratoare în posibilitatea de utilizare practică”, a declarat acesta.

Noua arhitectură a cipului NeuRRAM

În ceea ce privește cheia eficienței a cipului NeuRRAM, aceasta este reprezentată de către o nouă metodă care permite detectarea output-ului din memorie. Metodele actuale se folosesc de tensiunea drept input și curentul drept rezultat (output). Însă acest lucru duce la necesitatea de a utiliza circuite mai complexe și, implicit, care consumă mai multă energie. În ceea ce privește arhitectura cipului NeuRRAM, echipa a reușit să proiecteze un circuit neuronal care nu doar că poate detecta tensiunea, dar realizează și conversia analog-digitală, într-un mod eficient și optim din punct de vedere energetic. Această modalitate de detectare a modului de tensiune poate activa toate rândurile și toate coloanele unei rețele RRAM într-un singur ciclu de calcul. În arhitectura cipului NeuRRAM, circuitele neuronale CMOS sunt intercalate, efectiv fizic, cu greutățile RRAM, ceea ce diferă de arhitectura convențională în care circuitele CMOS se află, în mod uzual, la periferia greutăților RRAM.

Conexiunile neuronului cu matricea RRAM pot fi configurate astfel încât să servească fie input, fie ca output a calculelor neuronale, iar acest lucru permite inferența rețelei neuronale în mai multe direcții ale fluxului de date, fără a se înregistra costuri suplimentare în ceea ce privește suprafața necesară sau consumul semnificativ de energie. Implicit, aceste avantaje fac, în cele din urmă, ca arhitectura cipului să fie mult mai ușor de reconfigurat. Pentru a se asigura că acuratețea calculelor AI poate fi păstrată în diferite arhitecturi de rețele neuronale, inginerii au dezvoltat, pe lângă cip, și un set de tehnici de co-optimizare a algoritmilor hardware. Tehnicile au fost verificate pe diferite rețele neuronale – rețele neuronale convoluționale, cu memorie pe termen scurt și mașini Boltzmann. În calitate de cip neuromorfic de inteligență artificială, NeuroRRAM realizează procesarea (paralelă, nu în serie) pe 48 de nuclee neurosinaptice.

Implicit, pentru a asigura în același timp atât versatilitatea, cât și eficiența ridicată și un consum energetic cât mai redus, NeuRRAM suportă paralelismul datelor prin cartografierea unui strat din modelul rețelei neuronale integrate pe mai multe nuclee, prin inferența (operație logică prin care se face trecerea de la o premisă la alta – sau de la o acțiune la alta – în care următoarea premisă este dedusă din cea anterioară) paralelă pe mai multe tipuri de date. În aceeași măsură, NeuRRAM poate suporta paralelismul de model prin cartografierea diferitelor straturi ale unui model de bază pe diferite nuclee și prin efectuarea inferenței într-un model cu conductoare, care asigură eficiența energetică și posibilitatea de prelucra, simultan, mai multe tipuri de date și cantități mult mai mari.