Arvutinägemise edusammud soodustavad transpordi autonoomiat

Nägemine on inimese võimas sensoorne sisend. See võimaldab täita keerukaid ülesandeid ja protsesse, mida peame iseenesestmõistetavaks. Seoses AoT™ (asjade autonoomia) suurenemisega erinevates rakendustes, alates transpordist ja põllumajandusest kuni robootika ja meditsiinini, on kaamerate, andmetöötluse ja masinõppe roll inimliku nägemise ja tunnetuse tagamisel muutumas oluliseks. Arvutinägemine kui akadeemiline distsipliin sai tuule tiibadesse 1960. aastatel, peamiselt ülikoolides, mis tegelevad tehisintellekti (AI) ja masinõppe areneva valdkonnaga. See arenes dramaatiliselt järgmise nelja aastakümne jooksul, kui pooljuhtide ja arvutustehnoloogiate valdkonnas tehti olulisi edusamme. Hiljutised edusammud süvaõppe ja tehisintellekti vallas on veelgi kiirendanud arvutinägemise rakendamist, et pakkuda reaalajas madala latentsusega tajumist ja keskkonna tunnetust, võimaldades erinevate rakenduste autonoomiat, ohutust ja tõhusust. Transport on üks valdkond, mis on oluliselt kasu saanud.

LiDAR (Light Detection and Ranging) on ​​aktiivne optilise pildistamise meetod, mis kasutab objekti ümbritseva 3D-keskkonna määramiseks lasereid. See on üks tehnoloogiatest, mida arvutinägemislahendused (mis põhinevad puhtalt ümbritseval valgusel ega kasuta 3D tajumiseks lasereid) üritavad häirida. Üldine teema on see, et inimjuhid ei vaja sügavuse tajumiseks LiDAR-i, nii et ka masinad ei vaja seda. Praegused kaubanduslikud L3 autonoomse sõidu funktsioonid (täielik autonoomia teatud geograafilistes piirkondades ja ilmastikutingimustes, kus juht on valmis mõne sekundiga juhtimise üle võtma) tooted täna kasutage LiDAR-i. Puhtalt visioonipõhised tehnikad ei ole ikka veel suutnud seda võimalust äriliselt pakkuda.

REKLAAM

TeslalTSLA
on passiivse kaamerapõhise arvutinägemise kasutamise domineeriv pooldaja, et tagada sõiduauto autonoomia. Ettevõtte hiljutisel AI päeva üritusel esitasid Elon Musk ja tema insenerid muljetavaldava ettekande tehisintellekti, andmehaldus- ja andmetöötlusvõimalused, mis toetavad muuhulgas ka mitme Tesla mudeli Full Self Driving (FSD) funktsiooni. FSD nõuab, et juht oleks kogu aeg juhtimisülesandega seotud (mis on kooskõlas L2 autonoomiaga). Praegu on see valik saadaval 160,000 8 sõidukil, mille on ostnud USA ja Kanada kliendid. Iga sõiduki 360 kaamerast koosnev komplekt annab 75° hõivatuse kaardi. Nende sõidukite kaamera (ja muid) andmeid kasutatakse selle närvivõrgu (mis kasutab automaatset märgistamist) koolitamiseks, et tuvastada objekte, joonistada potentsiaalseid sõidukite trajektoore, valida optimaalsed ja aktiveerida asjakohased juhtimistoimingud. Viimase 12 kuu jooksul on toimunud ~1 7 närvivõrgu värskendust (~4 värskendus iga XNUMX minuti järel), kuna pidevalt kogutakse uusi andmeid ja tuvastatakse sildistamis- või manööverdamisvigu. Koolitatud võrk teostab planeerimis- ja juhtimistoiminguid spetsiaalselt ehitatud arvutuselektroonika pardal oleva üleliigse arhitektuuri kaudu. Tesla loodab, et FSD viib lõpuks autonoomsete sõidukiteni (AV-d), mis tagavad teatud töökujundusvaldkondades täieliku autonoomia ilma inimese juhi kaasamiseta (nimetatakse ka LXNUMX autonoomiaks).

Teised ettevõtted nagu Phiar, Helm.ai ja NODAR jätkavad ka arvutinägemise teed. NODARi eesmärk on märkimisväärselt laiendada stereokaamerasüsteemide kujutise ulatust ja 3D-taju, õppides patenteeritud masinõppe algoritmide abil kohanema kaamera väärjoonte ja vibratsiooniefektidega. Hiljuti kogus see 12 miljonit dollarit oma lipulaeva Hammerhead™ tootmiseks, mis kasutab autotööstuses kasutatavaid valmiskaameraid ja standardseid arvutusplatvorme.

Lisaks kuludele ja suurusele on LiDAR-i kasutamise vastu sageli argument see, et sellel on kaameratega võrreldes piiratud ulatus ja eraldusvõime. Näiteks on täna saadaval LiDAR-id, mille ulatus on 200 m ja 5-10 M punkti sekundis (PPS sarnaneb eraldusvõimega). 200 m kõrgusel registreerivad väikesed takistused, nagu tellised või rehvijäägid, väga vähe punkte (võib-olla 2–3 vertikaalselt ja 3–5 horisontaalsuunas), mis muudab objektide tuvastamise keeruliseks. Pikematel vahemaadel muutuvad asjad veelgi jämedamaks. Võrdluseks, tavalised 30 Hz megapiksliga kaamerad suudavad genereerida 30M pikslit sekundis, võimaldades objektide ülimat äratundmist isegi pikkadel vahemaadel. Täiustatud kaamerad (12 M pikslit) võivad seda veelgi suurendada. Probleem seisneb selles, kuidas neid tohutuid andmeid kasutada ja millisekundite taseme latentsusaegade, madala energiatarbimise ja halvenenud valgustingimustega teostatavat taju luua.

REKLAAM

Tunnustage, Californias asuv ettevõte, püüab seda probleemi lahendada. Tegevjuhi Mark Bolitho sõnul on selle missioon "pakkuda üliinimlikku visuaalset taju täielikult autonoomsete sõidukite jaoks.” Ettevõte asutati 2017. aastal, on tänaseks kogunud 75 miljonit dollarit ja sellel on 70 töötajat. RK Anand, Juniper Networksi vilistlane, on üks kaasasutajatest ja tootejuht. Ta usub, et kõrgema eraldusvõimega kaamerad, mille dünaamiline ulatus on üle 120 dB ja töötavad suurel kaadrisagedusel (näiteks OnSemi, Sony ja Omnivision), annab andmed, mis on vajalikud kõrge eraldusvõimega 3D-teabe loomiseks, mis on AV-de realiseerimiseks kriitilise tähtsusega. Selle võimaldajad on:

1. Eritellimusel disainitud ASIC-id andmete tõhusaks töötlemiseks ning täpsete ja kõrge eraldusvõimega 3D-kaartide loomiseks autokeskkonnast. Need on valmistatud TSMC 7 nm protsessiga, kiibi suurus on 100 mm² ja töötab sagedusel 1 GHz.
2. Patenditud masinõppe algoritmid miljonite andmepunktide võrguühenduseta töötlemiseks, et luua koolitatud närvivõrk, mis saab seejärel tõhusalt töötada ja pidevalt õppida. See võrk pakub taju ning hõlmab objektide klassifitseerimist ja tuvastamist, semantilist segmenteerimist, sõiduraja tuvastamist, liiklusmärke ja foorituvastust
3. Kiibiväliste salvestus- ja korrutamistoimingute minimeerimine, mis on energiamahukad ja loovad suure latentsusaega. Recogni ASIC-disain on optimeeritud logaritmilise matemaatika jaoks ja kasutab liitmist. Täiendav tõhusus saavutatakse kaalude optimaalse rühmitamise abil koolitatud närvivõrgus.

Treeningfaasis kasutatakse kaubanduslikku LiDAR-i põhitõena, et treenida kõrge eraldusvõime ja suure dünaamilise ulatusega stereokaamera andmeid, et eraldada sügavusteavet ja muuta see vastupidavaks valede joondamise ja vibratsiooniefektide vastu. Hr Anandi sõnul on nende masinõppe rakendamine nii tõhus, et see võib ekstrapoleerida sügavuse hinnanguid väljaspool kalibreerimis-LiDAR-i (mis annab põhitõe vahemikule 100 m) treeningvahemikke.

REKLAAM

Ülaltoodud koolitusandmed viidi läbi päevasel ajal 8.3-megapikslise stereokaamera paariga, mis töötas 30 Hz kaadrisagedusega (~ 0.5 miljardit pikslit sekundis). See näitab väljaõppinud võrgu võimet hankida 3D-teavet stseenist väljaspool 100 m ulatust, millega seda treeniti. Recogni lahendus võib ekstrapoleerida oma õppimist päevaste andmetega öisele jõudlusele (joonis 2).

REKLAAM

Hr Anandi sõnul on vahemiku andmed 5% täpsusega (pikatel vahemikel) ja 2% lähedal (lühematel vahemikel). Lahendus pakub 1000 TOPS-i (triljonit toimingut sekundis) 6 ms latentsusajaga ja 25 W energiatarbimisega (40 TOPS/W), mis on tööstusharu eesotsas. Täisarvude matemaatikat kasutavad konkurendid on sellel mõõdikul > 10 korda madalamad. Recogni lahendust katsetatakse praegu mitme autotööstuse 1. taseme tarnija juures.

Ennustage ("ennustab ja näeb, kus tegevus on")Prantsusmaal asuv ettevõte kasutab oma sündmustepõhiseid kaameraid AV-de, Advanced Driver Assistance Systems (ADAS), tööstusautomaatika, tarbijarakenduste ja tervishoiu jaoks. 2014. aastal asutatud ettevõte lõpetas hiljuti oma 50 miljoni dollari suuruse C-vooru rahastamise, praeguseks kogutud kokku 127 miljonit dollarit. Üks investoreid on juhtiv mobiiltelefonide tootja Xiaomi. Prophesee eesmärk on jäljendada inimese nägemist, milles võrkkesta retseptorid reageerivad dünaamilisele teabele. Inimese aju keskendub stseenis toimuvate muutuste töötlemisele (eriti juhtimisel). Põhiidee on kasutada kaamera- ja piksliarhitektuure, mis tuvastavad valguse intensiivsuse muutused üle läve (sündmus) ja edastavad ainult need andmed arvutusvirnale edasiseks töötlemiseks. Pikslid töötavad asünkroonselt (mitte kaadrisse nagu tavalistes CMOS-kaamerates) ja palju suurema kiirusega, kuna nad ei pea integreerima footoneid nagu tavalises kaadripõhises kaameras ja ootama, kuni kogu kaader selle lõpetab enne andmete lugemist. Eelised on märkimisväärsed – väiksem andmeside ribalaius, otsuse latentsus, salvestusruum ja energiatarve. Ettevõtte esimesel kommertsklassi VGA sündmustepõhisel nägemissensoril oli suur dünaamiline ulatus (>120 dB), madal energiatarve (26 mW anduri tasemel või 3 nW sündmuse kohta). Samuti on turule lastud HD (kõrglahutusega) versioon (koos Sonyga välja töötatud), millel on tööstusharu juhtiv pikslisuurus (< 5 μm).

REKLAAM

Need andurid moodustavad Metavision® sensorplatvormi tuuma, mis kasutab AI-d autonoomiarakenduste nutika ja tõhusa taju pakkumiseks ning mida hindavad mitmed transpordivaldkonnas tegutsevad ettevõtted. Lisaks AV-de ja ADAS-i ettepoole suunatud tajumisele tegeleb Prophesee aktiivselt klientidega L2 ja L3 rakenduste juhi salongis jälgimisel, vt joonis 4:

Autotööstuse võimalused on tulusad, kuid projekteerimise tsüklid on pikad. Viimase kahe aasta jooksul on Prophesee näinud suurt huvi ja veojõudu tööstuslike rakenduste masinnägemisruumi vastu. Nende hulka kuuluvad kiire loendus, pinnakontroll ja vibratsiooni jälgimine.

REKLAAM

Prophesee teatas hiljuti koostööst juhtivate masinnägemissüsteemide arendajatega, et kasutada ära võimalusi tööstusautomaatika, robootika, autotööstuse ja asjade Interneti (asjade Interneti) vallas. Teised kohesed võimalused on pildi hägususe korrigeerimine mobiiltelefonide ja AR/VR rakenduste jaoks. Need kasutavad madalama vormingu andureid kui need, mida kasutatakse pikemaajaliste ADAS/AV võimaluste jaoks, tarbivad veelgi vähem energiat ja töötavad oluliselt väiksema latentsusega.

Iisrael on juhtiv kõrgtehnoloogia uuendaja, kellel on märkimisväärsed riskiinvesteeringud ja aktiivne idufirmade keskkond. Alates 2015. aastast on tehnoloogiasektorisse investeeritud umbes 70 miljardi dollari ulatuses riskikapitali. Osa sellest on arvutinägemise valdkonnas. Mobileye juhtis seda revolutsiooni 1999. aastal, kui Heebrea ülikooli juhtiv AI-uurija Amnon Shashua asutas ettevõtte, et keskenduda ADAS-i ja AV-de kaamerapõhisele tajumisele. Ettevõte esitas IPO avalduse 2014. aastal ja Intel ostis selleINTC
2017. aastal 15 miljardi dollari eest. Tänapäeval on see lihtsalt juhtiv mängija arvutinägemise ja AV-valdkonnas ning hiljuti teatas oma kavatsusest esitada IPO ja saada iseseisvaks üksuseks. Mobileye tulu oli 1.4 miljardit dollarit aastas ja kahjum oli tagasihoidlik (75 miljonit dollarit). See pakub arvutinägemise võimalusi 50 autotööstuse originaalseadmete tootjale, kes kasutavad seda ADAS-i võimaluste jaoks 800 automudelis. Tulevikus kavatsevad nad juhtima L4 sõidukite autonoomiat (juhti pole vaja), kasutades Inteli ränifotoonikaplatvormil põhinevaid arvutinägemise teadmisi ja LiDAR-i võimalusi. Mobileye väärtus on hinnanguliselt ~ 50 miljardit dollarit, kui nad lõpuks börsile lähevad.

REKLAAM

Champeli pealinn, mis asub Jeruusalemmas, on ettevõtetesse investeerimise esirinnas, kes arendavad arvutinägemisel põhinevaid tooteid erinevateks rakendusteks transpordist ja põllumajandusest turvalisuse ja ohutuseni. Amir Weitman on kaasasutaja ja juhtivpartner ning asutas oma riskikapitali 2017. aastal. Esimene fond investeeris 20 miljonit dollarit 14 ettevõttesse. Üks nende investeeringutest oli Innoviz, mis läks 2018. aastal SPAC-i ühinemise kaudu börsile ja millest sai LiDAR-i ükssarvik. Omer Keilafi juhtimisel (kes pärines Iisraeli kaitseväe luurekorpuse tehnoloogiaüksusest) Ettevõte on täna ADAS-i ja AV-de LiDAR-i juurutamise liider, saavutades mitmeid disainivõite BMW ja Volkswageni juures.

Champel Capitali teine ​​fond (Impact Deep Tech Fund II) asutati 2022. aasta jaanuaris ja on tänaseks kogunud 30 miljonit dollarit (eesmärk on 100. aasta lõpuks 2022 miljonit dollarit). Peamiselt keskendutakse arvutinägemisele, viies ettevõttes on kasutusel 12 miljonit dollarit. Neist kolm kasutavad transpordi ja robootika jaoks arvutinägemist.

TankU, Asub Haifas, alustas tegevust 2018. aastal ja on rahastanud 10 miljonit dollarit. Dan Valdhorn on tegevjuht ja on lõpetanud Unit 8200, Iisraeli kaitseväe eliit kõrgtehnoloogilise rühma, mis vastutab signaalide luure ja koodide dekrüpteerimise eest. TankU SaaS (Software as a Service) tooted automatiseerivad ja turvavad protsesse keerukates välikeskkondades, mis teenindavad sõidukeid ja juhte. Neid tooteid kasutavad sõidukiparkide, eraautode, tankimis- ja elektrilaadimisjaamade omanikud, et vältida vargusi ja pettusi automatiseeritud finantstehingute käigus. Sõidukite kütuseteenused teenivad igal aastal umbes 2 tonni ülemaailmset tulu, millest era- ja tarbesõidukite omanikud tarbivad 40% ehk 800 miljardit dollarit. Jaemüüjad ja sõidukipargi omanikud kaotavad aastas ~100 miljardit dollarit varguse ja pettuse tõttu (näiteks autopargi kütusekaardi kasutamine volitamata erasõidukite jaoks). CNP (Card not present) pettus ja kütuse võltsimine/varastamine on täiendavad kahjuallikad, eriti kui kasutate maksmiseks mobiilirakendustes varastatud kaardiandmeid.

REKLAAM

Ettevõtte TUfuel toode hõlbustab ühe puudutusega turvalist maksmist, blokeerib enamiku pettuste tüübid ja hoiatab kliente, kui kahtlustab pettust. See põhineb tehisintellekti mootoril, mis on koolitatud nendes rajatistes olemasolevate CCTV-de andmete ja digitaalsete tehinguandmete (sealhulgas kassa- ja muude taustaandmete) põhjal. Pettuste tuvastamiseks jälgitakse selliseid parameetreid nagu sõiduki trajektoor ja dünaamika, sõiduki ID, sõiduaeg, läbisõit, tankimisaeg, kütusekogus, kütuse ajalugu ja juhi käitumine. Need andmed aitavad ka jaemüüjatel optimeerida saidi toimimist, suurendada klientide lojaalsust ja juurutada visioonipõhiseid turundustööriistu. Tegevjuhi Dan Valdhorni sõnul tuvastab nende lahendus 70% sõidukipargist, 90% krediitkaardiga seotud pettustest ja 70% rikkumistega seotud pettustest.

Sonol on energiateenuste ettevõte, mis omab ja haldab 240 jaama ja esmatarbekaupluse võrku üle Iisraeli. TUfueli kasutatakse nende asukohtades ja see on näidanud täiustatud turvalisust, pettuste ennetamist ja klientide lojaalsust. USA-s on käimas tootekatsetused koostöös juhtiva ülemaailmse bensiinijaamade ja lähikaupluste seadmete tarnijaga. Sarnased algatused on käimas ka Aafrikas ja Euroopas.

REKLAAM

Tel-Avivis asuv ITC asutasid 2019. aastal Ben-Gurioni ülikooli masinõppe akadeemikud. ITC loob SaaS-i tooteid, mis "Mõõtke liiklusvoogu, ennustage ummikuid ja leevendage neid fooridega nutika manipuleerimise abil – enne kui ummikud hakkavad tekkima." Sarnaselt TankU-ga kasutab see reaalajas liiklusandmete saamiseks valmiskaamerate andmeid (mis on juba paigaldatud paljudele liiklusristmikele). Analüüsitakse tuhandete kaamerate andmeid kogu linnas ja parameetreid, nagu sõidukitüüp, kiirus, liikumissuund ja sõidukitüüpide järjestus (veoautod vs. autod), eraldatakse patenteeritud tehisintellekti algoritmide abil. Simulatsioonid ennustavad liiklusvoogusid ja võimalikke ummikuolukordi kuni 30 minutit ette. Foore reguleeritakse nende tulemuste põhjal liiklusvoo sujuvamaks muutmiseks ja ummikute vältimiseks.

AI-süsteemi koolitamine võtab tüüpilises linnas visuaalseid andmeid ühe kuu jooksul ja hõlmab juhendatud ja järelevalveta õppimise kombinatsiooni. ITC lahendus on juba kasutusel Tel-Avivis (25. aastal oli see maailma enimkoormatud linnades 2020. kohal) ning sadadel fooridega juhitavatel ristmikel on paigaldatud tuhanded kaamerad. ITC süsteem haldab praegu 75 XNUMX sõidukit, mis eeldatavasti kasvab jätkuvalt. Ettevõte paigaldab a sarnane võime sisse Luksemburgis ja alustab katseid USA suuremates linnades. Ülemaailmselt haldab selle lahendus 300,000 XNUMX sõidukit, mille tegevuskohad asuvad Iisraelis, USA-s, Brasiilias ja Austraalias. Tehnikadirektor Dvir Kenig on kirglik selle probleemi lahendamise vastu – anda inimestele tagasi isiklikku aega, vähendada kasvuhoonegaase, tõsta üldist tootlikkust ja, mis kõige tähtsam, vähendada õnnetusi ülekoormatud ristmikel. Hr Kenigi sõnul "Meie kasutuselevõtt näitab liiklusummikute vähenemist 30%, vähendades ebaproduktiivset sõiduaega, stressi, kütusekulu ja saastet."

REKLAAM

Siserobootika oli asutatud 2018is ja hiljuti kogus raha 18 miljonit dollarit. Iisraelis Tel-Avivi lähedal asuv ettevõte arendab ja müüb autonoomseid droonilahendusi siseruumide turvalisuse, ohutuse ja hoolduse jälgimiseks. Tegevjuhil ja kaasasutaja Doron Ben-Davidil on IAI-s kogunenud märkimisväärne robootika ja aeronautika kogemus.IAI
(suure kaitsetöövõtja) ja MAFAT (Iisraeli kaitseministeeriumis tegutsev arenenud uurimisorganisatsioon), mis sarnaneb DARPA-ga Ameerika Ühendriikides. Kasvavad investeeringud nutikatesse hoonetesse ja kaubanduslikesse turvaturgudesse suurendavad vajadust autonoomsete süsteemide järele, mis saaksid kasutada arvutinägemist ja muid sensoorseid sisendeid väikestes ja suurtes siseruumides (kontorid, andmekeskused, laod ja kaubanduspinnad). Indoor Robotics sihib seda turgu, kasutades siseruumides kasutatavaid droone, mis on varustatud valmiskaamerate ning soojus- ja infrapunavahemiku anduritega.

Ofir Bar-Levav on ärijuht. Ta selgitab, et GPS-i puudumine on takistanud siseruumides asuvatel droonidel end hoonetesse lokaliseerimast (tavaliselt on GPS keelatud või ebatäpne). Lisaks puudusid mugavad ja tõhusad dokkimis- ja toitelahendused. Indoor Robotics lahendab selle nelja droonile paigaldatud kaameraga (ülemine, alla, vasak, parem) ja lihtsate kaugusanduritega, mis kaardistavad täpselt siseruumi ja selle sisu. Kaamera andmeid (kaamerad pakuvad lokaliseerimis- ja kaardistamisandmeid) ja soojusandureid (samuti droonile paigaldatud) analüüsib AI-süsteem, et tuvastada võimalikud turva-, ohutus- ja hooldusprobleemid ning hoiatada klienti. Droonid töötavad lakke paigaldatud dokkimisplaadi kaudu, mis säästab väärtuslikku põrandapinda ja võimaldab laadimise ajal andmeid koguda. Nende igapäevaste protsesside automatiseerimise rahalised eelised, kus inimtööjõud on värbamise, säilitamise ja väljaõppe osas keeruline ja kallis, on ilmsed. Õhudroonide vs maapealsete robotite kasutamisel on olulisi eeliseid ka kapitali- ja tegevuskulude, põrandapinna parema kasutamise, takistusteta liikumisvabaduse ja kaameraandmete kogumise tõhususe osas. Hr Bar-Levavi sõnul on Indoor Robotics'i TAM (Total Addressable Market) siseruumides kasutatavate intelligentsete turvasüsteemide jaoks 80. aastaks 2026 miljardit dollarit. Tänapäeval on klientide peamised asukohad juhtivate ülemaailmsete korporatsioonide laod, andmekeskused ja kontorilinnakud.

REKLAAM

Arvutinägemine muudab autonoomiamängu – liikumise automatiseerimises, turvalisuses, nutikas hooneseires, pettuste tuvastamises ja liikluse juhtimises. Pooljuhtide võimsus ja AI on võimsad võimaldajad. Kui arvutid omandavad selle uskumatu sensoorse modaalsuse skaleeritaval viisil, on võimalused lõputud.