NTT ja Tokyo ülikool töötavad välja maailma esimese optilise andmetöötluse AI, kasutades inimajust inspireeritud algoritmi

Koostöö edendab optilisel andmetöötlusel põhineva väikese võimsusega kiire tehisintellekti praktilist rakendamist

TOKYO–(ÄRIJUHT)–#TechforGood-NTT korporatsioon (President ja tegevjuht: Akira Shimada, "NTT") ja Tokyo ülikool (Bunkyo-ku, Tokyo, president: Teruo Fujii) on välja töötanud uue õppimisalgoritmi, mis on inspireeritud aju teabetöötlusest, mis sobib analoogoperatsioone kasutavate mitmekihiliste tehisnärvivõrkude (DNN) jaoks. See läbimurre toob kaasa tehisintellekti energiatarbimise ja arvutusaja vähenemise. Selle arengu tulemused avaldati Briti teadusajakirjas Nature Communications 26. detsembril^th.

Teadlased saavutasid maailmas esimese tõhusalt teostatud optilise DNN-õppe demonstratsiooni, rakendades algoritmi DNN-ile, mis kasutab optilist analoogarvutust, mis peaks võimaldama kiireid ja väikese võimsusega masinõppeseadmeid. Lisaks on nad saavutanud analoogoperatsioone kasutava mitmekihilise tehisnärvivõrgu maailma kõrgeima jõudluse.

Varem tehti suure koormusega õppearvutusi digiarvutustega, kuid see tulemus tõestab, et analoogarvutuste abil on võimalik õppeosa efektiivsust tõsta. Deep Neural Network (DNN) tehnoloogias arvutatakse korduv närvivõrk, mida nimetatakse süvareservuaari arvutamiseks, eeldades, et optiline impulss on neuron ja mittelineaarne optiline rõngas rekursiivsete ühendustega närvivõrguna. Sisestades väljundsignaali uuesti samasse optilisse vooluringi, süvendatakse võrku kunstlikult.

DNN-tehnoloogia võimaldab täiustatud tehisintellekti (AI), nagu masintõlke, autonoomne sõit ja robootika. Praegu kasvab vajalik võimsus ja arvutusaeg kiirusega, mis ületab digitaalsete arvutite jõudluse kasvu. Analoogsignaali arvutusi (analoogoperatsioone) kasutav DNN-tehnoloogia on eeldatavasti aju närvivõrguga sarnaste suure tõhususega ja kiirete arvutuste teostamise meetod. NTT ja Tokyo ülikooli koostöös on välja töötatud uus algoritm, mis sobib analoogoperatsioonile DNN, mis ei eelda DNN-is sisalduvate õppeparameetrite mõistmist.

Kavandatav meetod õpib, muutes õpiparameetreid, mis põhinevad võrgu lõppkihil ja soovitud väljundsignaali (veasignaali) vea mittelineaarsel juhuslikul teisendusel. See arvutus muudab analoogarvutuste rakendamise lihtsamaks sellistes asjades nagu optilised ahelad. Seda saab kasutada ka mitte ainult füüsilise rakendamise mudelina, vaid ka tipptasemel mudelina, mida kasutatakse sellistes rakendustes nagu masintõlge ja erinevad AI mudelid, sealhulgas DNN-mudel. Eeldatakse, et see uurimus aitab lahendada AI-arvutusega seotud esilekerkivaid probleeme, sealhulgas energiatarbimist ja arvutusaja pikenemist.

Lisaks käesolevas dokumendis pakutud meetodi konkreetsete probleemide puhul rakendatavuse uurimisele edendab NTT ka optilise riistvara suuremahulist ja väikesemahulist integreerimist, eesmärgiga luua kiire ja väikese võimsusega optiline andmetöötlusplatvorm tulevaste optiliste seadmete jaoks. võrgud.

Selle uuringu tugi:

JST/CREST toetas osa nendest uurimistulemustest.

Ajakirja väljaanne:

Ajakiri: Nature Communications (Võrguversioon: 26. detsember)

Artikli pealkiri: Füüsiline süvaõpe bioloogiliselt inspireeritud treeningmeetodiga: gradiendivaba lähenemine füüsilisele riistvarale

Autorid: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto ja Kohei Nakajima

Terminoloogia selgitus:

1. Optiline ahel: vooluahel, milles räni- või kvartsist optilised lainejuhid on integreeritud räniplaadile, kasutades elektroonilise vooluahela valmistamise tehnoloogiat. Side puhul toimub optiliste sideteede hargnemine ja ühendamine optiliste häirete, lainepikkuste multipleksimise/demultipleksimise jms abil.
2. Backpropagation (BP) meetod: süvaõppes kõige sagedamini kasutatav õppimisalgoritm. Kaalude (parameetrite) gradiendid võrgus saadakse veasignaali tagurpidi levitamisel ja kaalusid värskendatakse nii, et viga muutub väiksemaks. Kuna tagasilevimise protsess nõuab võrgumudeli kaalumaatriksi transponeerimist ja mittelineaarset diferentseerimist, on seda keeruline rakendada analoogahelates, sealhulgas elusorganismi ajus.
3. Analoogarvutus: arvuti, mis väljendab tegelikke väärtusi kasutades füüsikalisi suurusi nagu valguse intensiivsus ja faas ning magnetpöörete suund ja intensiivsus ning teostab arvutusi, muutes neid füüsikalisi suurusi vastavalt füüsikaseadustele.
4. Otsese tagasiside joondamise (DFA) meetod: meetod iga kihi veasignaali pseudoarvutamiseks, teostades viimase kihi veasignaalis mittelineaarse juhusliku teisenduse. Kuna see ei nõua võrgumudeli diferentsiaalteavet ja seda saab arvutada ainult paralleelse juhusliku teisendusega, ühildub see analoogarvutusega.
5. Reservuaari arvutamine: korduva närvivõrgu tüüp, millel on korduvad ühendused peidetud kihis. Seda iseloomustavad juhuslikult fikseeritud ühendused vahekihis, mida nimetatakse reservuaarikihiks. Süvareservuaaride andmetöötluses toimub teabetöötlus reservuaarikihtide ühendamise teel mitmes kihis.

NTT ja NTT logo on ettevõtte NIPPON TELEGRAPH AND TELEPHONE CORPORATION ja/või selle sidusettevõtete registreeritud kaubamärgid või kaubamärgid. Kõik muud viidatud tootenimed on nende vastavate omanike kaubamärgid. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakt

Stephen Russell

Juhtmeside®

NTT jaoks

+ 1-804-362-7484

[meiliga kaitstud]