Týdeník věnovaný aktualitám a novinkám z fyziky a astronomie. Vydavatel: AGA (Aldebaran Group for Astrophysics) Číslo 23 – vyšlo 28. července, ročník 21 (2023) © Copyright Aldebaran Group for Astrophysics Publikování nebo šíření obsahu je zakázáno. ISSN: 1214-1674, Email: bulletin@aldebaran.cz

23/2023

Robot bez Alzheimera

Petr Panchártek

Základní schopností prostorové inteligence je, aby robot pochopil, kde se momentálně nachází, a dokázal sám sebe navigovat. Pro roboty zůstává rozpoznání nějakého místa v přirozeném prostředí náročným úkolem kvůli omezeným zdrojům a měnícímu se okolí. Naproti tomu lidé a zvířata mohou efektivně rozpoznat stovky tisíc míst v různých podmínkách.

V tomto bulletinu si popíšeme obecný systém rozpoznávání míst inspirovaný mozkem, nazvaný NeuroGPR (zkratka z anglického Neuromorphic General Place Recognition, obecné neuromorfní rozpoznávání místa). NeuroGPR umožňuje robotům rozpoznávat místa napodobováním neurálního mechanizmu multimodálníhoMultimodální – komunikace s více než jedním modem, tj. současná komunikace s více zdroji či vstupy. snímání, kódování a počítání ve spojitém prostoru a čase. Tento systém se skládá z multimodální hybridní neuronové sítě (MHNN), která kóduje a integruje multimodální podněty z konvenčních i neuromorfních senzorů. Ke kódování různých smyslových podnětů byly vyvinuty neuronové sítě buněk zajišťujících prostorovou orientaci, buněk polohy, buněk směru hlavy a buněk orientace v čase. Pro integraci těchto podnětů byl vytvořen vícestupňový stroj v kapalném stavu, který dokáže efektivně a asynchronně zpracovávat a spojovat multimodální informace pomocí různé neuronální dynamiky a biologicky inspirovaných obvodů. MHNN je vytvořen na čipu Tianjic, což je hybridní neuromorfní čip, který se integroval do čtyřnohého robota. Výsledky ukazují, že NeuroGPR dosahuje lepšího výkonu ve srovnání s konvenčními a existujícími biologicky inspirovanými přístupy a vykazuje odolnost vůči různým nejistotám prostředí, včetně percepčního aliasinguPercepční aliasing – nežádoucí změny (aliasing) při převodu zaznamenaných podnětů (percepcí) z analogové do digitální podoby., rozmazání pohybu, světla nebo změn počasí. Spuštění NeuroGPR jako celkové víceneuronové síťové zátěže na čip Tianjic ukazuje své výhody s desetinásobně kratší latencíLatence – zpoždění mezi požadavkem na provedení nějaké akce a okam6ikem, kdy je daný požadavek zpracován. a s o 43,6 % nižší spotřebou energie než například běžně používaný mobilní robotický procesor Jetson Xavier NX. 

Čtyřnohý robot vybavený systémem NeuroGPR. Zdroj. ScienceRobotics.

ANN – Artificial neural network, umělá neuronová síť, jeden z výpočetních modelů používaných v umělé inteligenci. Jejím vzorem je chování odpovídajících biologických struktur. Umělá neuronová síť je struktura určená pro distribuované paralelní zpracování dat. SNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času. CNN – Convolution Neural Network, konvoluční neuronová síť. Namísto obecného násobení matic používají CNN alespoň v jedné ze svých vrstev matematickou operaci zvanou konvoluce. V hlubokém učení je CNN třídou umělých neuronových sítí, které se nejčastěji používají k analýze vizuálních představ. CANN – Continuous Attractor Neural Network, kontinuálně-atraktorová neuronová síť, síť atraktorů, která vlastní jednu nebo více kvazikontinuálních sad atraktorů, které se v limitě nekonečného počtu neuronových jednotek blíží spojitým atraktorům. Spojitá atraktorová síť je speciálním druhem atraktorové neuronové sítě, která je zase speciálním druhem nelineárního dynamického systému.

Inspiraci hledej v přírodě

V robotické komunitě získávají stále větší pozornost systémy pro rozpoznávání míst, které pomohou robotům porozumět prostorovým charakteristikám světa. Týká se to problému rozhodování, zda bylo místo navštíveno již dříve, a pokud již bylo navštíveno, které místo to bylo. Mnoho nedávných studií dosáhlo velkého pokroku ve zlepšení výkonu rozpoznávání míst s jediným obrazem nebo společně s obrazovými, geometrickými a sémantickými informacemi. Rozpoznání místa v přirozeném prostředí zůstává obrovskou výzvou kvůli rychlým změnám prostředí a přísným požadavkům na výkon, výpočetní techniku a latenciLatence – zpoždění mezi požadavkem na provedení nějaké akce a okam6ikem, kdy je daný požadavek zpracován.. Zdroje robotů jsou omezené. Různé problémy stále brzdí vývoj systémů rozpoznávání míst, včetně toho, jak tato místa spolehlivě snímat, robustně je reprezentovat a efektivně přiřazovat.

Aby se vědci vypořádali s těmito výzvami, využili, jako již mnohokrát, inspiraci přírodou. V současnosti existují dva hlavní přístupy, z nichž prvním je navrhování metod biologicky inspirovaného vizuálního rozpoznávání míst a druhým je používání neuromorfních senzorů, například kamery událostí, ke zlepšení přesnosti a robustnosti rozpoznávání místa. Navzdory pokroku, který přinesly různé biologicky inspirované přístupy, většina z nich stále čelí třem hlavním problémům:

Naproti tomu vykazují lidé a zvířata při rozpoznávání míst pozoruhodné schopnosti, účinně identifikují místa ve velkých trojrozměrných prostředích. Mohou spolehlivě snímat, robustně reprezentovat a detailně rozpoznávat místa pomocí buněk prostorového zobrazení, buněk sluchového zobrazení, buněk čichového zobrazení, buněk místa, buněk ve směru hlavy, buněk mřížky a časových buněk. Jak lidé rozpoznávají místo v přirozeném prostředí, je různými smyslovými podněty aktivovováno více typů smyslových buněk. Tyto buňky mohou poskytnout časoprostorovou reprezentaci místa, které má spojitý charakter, přičemž každý okamžik obsahuje informace o minulosti, přítomnosti a budoucnosti, což usnadňuje přesnost a robustnost rozpoznání místa. Taková hybridní časoprostorová kontinuita vnímání a kódování však v současných metodách rozpoznávání místa stále chybí. Kombinace multimodálníhoMultimodální – komunikace s více než jedním modem, tj. současná komunikace s více zdroji či vstupy. snímání a vlastnosti hybridního časoprostorového počítání mohou nabídnout perspektivu pro rozvoj technologie rozpoznávání míst.

Mechanizmus rozpoznávání míst u lidí a robotů. (A) Lidé mohou rozpoznat místo podle multimodálníchMultimodální – komunikace s více než jedním modem, tj. současná komunikace s více zdroji či vstupy. smyslových podnětů s časoprostorovou kontinuitou. Místo je kódováno vnějšími smyslovými buňkami a vnitřními konjunktivními časoprostorovými buňkami. Multimodální senzorické podněty by mohly aktivovat tyto buňky společně. Konjunktivní obrazec může jedinečně zakódovat a vyvolat konkrétní místo. (B) Robot dokáže rozpoznat místo pomocí systému inspirovaného mozkem. Robot může získávat podněty o prostředí pomocí multimodálních senzorů (IMUIMU – Inertial Measurement Unit, setrvačníková měřicí jednotka zaznamenávající polohu a směr pohybu., fotoaparát, kamera). Ke kódování těchto senzorických podnětů byl použit model MHNNMHNN – multimodální hybridní neuronová síť. nasazený na neuromorfním výpočetním čipu, který dokáže robustně rozpoznat místa s pros­to­ro­vě-časovým syntetickým přístupem. Zdroj: ScienceRobotics.

Vznikající harwarová platforma poskytuje vynikající platformu pro neuromorfní časoprostorové výpočty. Využívá neurální principy integrace zpracování a zapamatovávání informací v mozku, což má jisté výhody – nízkou spotřebu energie, paralelizmus více sítí a nízké inferenční zpoždění. Jedním z nedávných pokroků v této oblasti je čip Tianjic, který poskytuje jednotnou platformu podporující všestranné modely neuronových sítí s vysokou účinností. Tato platforma může nezávisle nebo hybridně provozovat umělé neuronové sítě (ANNANN – Artificial neural network, umělá neuronová síť, jeden z výpočetních modelů používaných v umělé inteligenci. Jejím vzorem je chování odpovídajících biologických struktur. Umělá neuronová síť je struktura určená pro distribuované paralelní zpracování dat.) a špičkové neuronové sítě (SNNSNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času.), což poskytuje strategickou příležitost k překonání překážek konvenčního rozpoznávání místa (VPRVPR – Visual Place Recognition, rozpoznávání místa ve vizuálním oboru.).

Neuromorfní systém obecného rozpoznávání míst, nazvaný NeuroGPR, napodobuje neurální mechanizmy multimodálního snímání, kódování a počítání, což umožňuje robotům robustně a efektivně rozpoznávat místa v přirozeném prostředí. Pro zvýšení spolehlivosti jednoho senzoru se do systémů pro multimodální snímání integrovalo více konvenčních a neuromorfních senzorů. To umožňuje robotovi efektivně zachycovat a zpracovávat víceškálové časoprostorové informace napodobením multimodálních snímacích mechanizmů v mozku.

Aby se zakódovaly a spojily víceúrovňové a vícerozměrné informace z různých senzorů, navrhli vědci model multimodální hybridní neuronové sítě (MHNNMHNN – multimodální hybridní neuronová síť.) a model víceúrovňového stroje v tekutém stavu (MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu.) pro asynchronní syntézu multimodálních informací. MLSM je postaven na heterogenních špičkových neuronech pro zpracování informací, které emulují různé mechanizmy zpracování nervových informací v mozku a promítají multimodální informace do vícerozměrného prostoru pomocí lokálních inhibičních obvodů. Optimalizací síťových parametrů pomocí technik gradientního sestupu může MLSM efektivně spojit multimodální informace a umožnit robotovi pracovat robustně, i když části modálních informací chybí, nebo jsou změněny.

Model MHNNMHNN – multimodální hybridní neuronová síť. se nasadil na hybridní neuromorfní čip Tianjic, který je schopen efektivně a paralelně řešit několik sítí napříč paradigmaty. Čip Tianjic umožňuje robotovi souběžně realizovat více neuronových sítí s různými měřítky, přesností a strukturami pomocí nezávisle konfigurovatelných funkčních jader. Jeho flexibilní mechanizmus pohybu dat a nastavitelné časové plány umožnily efektivní datové interakce a převody signálů mezi různými sítěmi.

Pro vyhodnocení chování systému NeuroGPR byl vyvinut čtyřnohý robotický systém vybavený multimodálními senzory a hybridními neuromorfními čipy. Systém NeuroGPR byl testován v přírodním i umělém prostředí, překonal nejmodernější konvenční techniky a vykázal značnou odolnost vůči změnám okolního prostředí.

Čip Tianjic je hybridní platforma, která podporuje počítačově orientované algoritmy strojového učení, stejně jako modely a algoritmy inspirované neurovědou. Aby bylo možné podporovat paralelní zpracování velkých sítí nebo více sítí současně, vyu­žívá čip mnohojádrovou architekturu s rozptýlenou pamětí pro včasnou a bez­pro­blé­mo­vou komunikaci. Zdroj: Analytics India Magazine.

Čtyřnohým robotickým systémem může být například robot ANYmal. Zdroj: AGA.

Multimodální hybridní neuronová síť

Hybridní síť (MHNNMHNN – multimodální hybridní neuronová síť.) se skládá z konvolučních neuronových sítí (CNNMultimodální – komunikace s více než jedním modem, tj. současná komunikace s více zdroji či vstupy.), špičkových neuronových sítí (SNNSNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času.) a kontinuálních atraktorových neuronových sítí (CANNCANN – Continuous Attractor Neural Network, kontinuálně-atraktorová neuronová síť, síť atraktorů, která vlastní jednu nebo více kvazikontinuálních sad atraktorů, které se v limitě nekonečného počtu neuronových jednotek blíží spojitým atraktorům. Spojitá atraktorová síť je speciálním druhem atraktorové neuronové sítě, která je zase speciálním druhem nelineárního dynamického systému.) pro reprezentaci multisenzorických podnětů, a stroje MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu. pro spojování multimodálních informací. Bylo potřeba zvážit všestranné strategie neurálního kódování, jako je kódování založené na rychlosti a kódování Gaussova rozdělení, aby se zakódovaly heterogenní senzorické podněty. Různé síťové moduly zpracovávaly odlišné vlastnosti a přiváděly multimodální informace do MLSM. Všechny moduly byly nakonec integrovány do jednotného optimalizačního rámce, který byl optimalizován pomocí algoritmu „zpětného šíření v čase“.

Architektura systému NeuroGPR. (A) Model MHNNMHNN – multimodální hybridní neuronová síť. se skládá ze sítí CNNCNN – Convolution Neural Network, konvoluční neuronová síť. Namísto obecného násobení matic používají CNN alespoň v jedné ze svých vrstev matematickou operaci zvanou konvoluce. V hlubokém učení je CNN třídou umělých neuronových sítí, které se nejčastěji používají k analýze vizuálních představ., SNNSNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času. a tří CANNCANN – Continuous Attractor Neural Network, kontinuálně-atraktorová neuronová síť, síť atraktorů, která vlastní jednu nebo více kvazikontinuálních sad atraktorů, které se v limitě nekonečného počtu neuronových jednotek blíží spojitým atraktorům. Spojitá atraktorová síť je speciálním druhem atraktorové neuronové sítě, která je zase speciálním druhem nelineárního dynamického systému.. Multimodální rysy jsou extrahovány z reprezentací senzorických podnětů, které jsou kombinovány syntetickým přístupem s více časoprostorovým měřítkem pomocí MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu.. (B) Klíčové součásti systému NeuroGPR. Systém obsahuje multi­mo­dál­ní senzory (jednotka IMUIMU – Inertial Measurement Unit, setrvačníková měřicí jednotka zaznamenávající polohu a směr pohybu., fotoaparát, kamera), neuromorfní výpočetní čip Tianjic a čtyřnohého robota. (C) Pipeline systému NeuroGPR. Hostitelská počítačová platforma je určena pro sběr dat ze senzorů, předzpracování dat, řízení robota a datovou komunikaci. Systém MHNN je mapován a nasazen na čip Tianjic, který rozpoznává místa na základě vstupů dotazovaných dat. Zdroj: ScienceRobotics.

S ohledem na časoprostorovou multimodalitu externích vstupních dat z různých buněk se využily reprezentativní sítě CNNCNN – Convolution Neural Network, konvoluční neuronová síť. Namísto obecného násobení matic používají CNN alespoň v jedné ze svých vrstev matematickou operaci zvanou konvoluce. V hlubokém učení je CNN třídou umělých neuronových sítí, které se nejčastěji používají k analýze vizuálních představ., SNNSNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času. a CANNCANN – Continuous Attractor Neural Network, kontinuálně-atraktorová neuronová síť, síť atraktorů, která vlastní jednu nebo více kvazikontinuálních sad atraktorů, které se v limitě nekonečného počtu neuronových jednotek blíží spojitým atraktorům. Spojitá atraktorová síť je speciálním druhem atraktorové neuronové sítě, která je zase speciálním druhem nelineárního dynamického systému. pro modelování buněk prostorového zobrazení, buněk míst, buněk směru hlavy a časových buněk, čímž se kódovaly různé typy vstupů. Jelikož jsou nešpičkové sítě CNN obecně využívané ke zpracování informací s vysokou prostorovou složitostí, použily se k modelování buněk prostorového zobrazení pro zpracování vizuálních podnětů na základě snímků. Špičkové sítě napodobují mechanizmy zpracování informací založené na biologických špičkách, které mohou přirozeně extrahovat časové korelace a přispívají ke zpracování událostmi řízených časoprostorových datových toků. K modelování funkce buněk prostorového zobrazení se pro vizuální podněty založené na událostech využila síť SNN. Kromě toho byly lokační buňky a buňky směru hlavy široce studovány pomocí neurovědou inspirovaných sítí CANN, které poskytují obecné a jednoduché modely pro nízkorozměrné prvky časoprostorového kontinua. Robot, který se pohybuje prostorem, potřebuje vzít v úvahu svou místní relativní polohu, směr a informace o čase. Z tohoto důvodu se musely využít sítě CANN pro modelování funkcí buněk místa, buněk směru hlavy a buněk času.

Pro integraci dat zakódovaných různými moduly byl vytvořen model MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu. s kapalnou zásobou diferencovatelných špičkových neuronů s membránovou dynamikou, adaptivním prahem a adaptivními proudy. Různé senzorické informace byly promítány do různých oblastí kapalinového stroje. Reprezentaci informace a interakci pro každý druh informace řídily lokální inhibiční okruhy (snižující elektrický potenciál) zajišťující laterální inhibici (redukci aktivity sousedních neuronů). K optimalizaci synaptických vah a hyperparametrů dynamiky neuronů byl využit algoritmus zpětného šíření v čase. Nakonec byl vytvořen klasifikátor pro dekódování signálů špiček ze skupiny.

Architektura systému

Systém NeuroGPR byl navržen na základě čtyřnohého robota, který provádí úkoly rozpoznávání míst v reálném čase. Na robotovi je připojen neuromorfní senzor dynamického vidění (DVS), což je v tomto případě kamera Intel Realsense RGB-D, setrvačníková jednotka pro určování polohy WHEELTEC IMU N100, hostitelská počítačová platforma Nvidia Jetson Xavier NX (známá jako Xavier NX) a výpočetní platforma čipu Tianjic. Byly nainstalovány operační systémy Ubuntu 18.04 a Robot Operating System Melodic na Xavier NX, které mohou předzpracovat data ze senzorů a ovládat tak robota. Ke zpracování modelu NeuroGPR byl použit soubor nástrojů na mapování, kompilace a prováděné pomocí čipu Tianjic. Kamera DVSDVS – Dynamic Vision Sensor, senzor dynamického vidění, kamera zaznamenávající vývoj obrazu., fotoaparát RGB-D a jednotka IMUIMU – Inertial Measurement Unit, setrvačníková měřicí jednotka zaznamenávající polohu a směr pohybu.  byly připojeny k Xavier NX. Čip Tianjic získal data senzoru od Xaviera NX. Paralelní síťový datový tok MHNNMHNN – multimodální hybridní neuronová síť. byl také nasazen na čip Tianjic určený pro rozpoznávání míst dle vstupů.

Čip Tianjic také slouží k podpoře MHNNMHNN – multimodální hybridní neuronová síť. při rozpoznávání míst. Čip Tianjic může podporovat í více hybridních neuronových sítí napříč paradigmaty a má jednotnou, konfigurovatelnou a škálovatelnou architekturu s rekonfigurovatelnými jednotkami podporujícími bohatá schémata kódování a hybridní modely. Každé funkční jádro lze konfigurovat nezávisle, což umožňuje čipu souběžně implementovat více neuronových sítí s různými typy, měřítky, přesností a strukturami. Navíc poskytuje flexibilní mechanizmy pohybu dat a nastavitelné časové plány, což umožňuje efektivní datové interakce a převody signálů mezi různými sítěmi.

Hodnocení výkonnosti

Výkon systému NeuroGPR byl ověřen na robotovi pracujícím s různými scénáři a podmínkami. Testovací scénáře se odehrávaly v místnosti, dlouhé chodbě a v divokém lese. Vzhled prostředí byl v různých místech nebo podlažích velmi podobný při pohledu z různých směrů. Při testech se světlo v různých oblastech hodně měnilo. Když se robot přesunul do tmavé oblasti, obraz zachycený konvenční kamerou zcela ztmavl, což znamená, že došlo ke ztrátě užitečných informací. Pro zvýšení nejistoty při rozpoznávání prostředí byli pozváni figuranti, kteří náhle do chodby vstoupili nebo ji bez upozornění opustili. Tyto měnící se faktory umožnily vyhodnotit robustnost systému NeuroGPR v přirozeném prostředí. Robot například při pohybu po dlážděné cestě v lesním prostředí vibroval, což vedlo k rozmazání RGB snímků z fotoaparátu a šumu v datech pořízených kamerou událostí. Světlo se v různých časech měnilo, což vedlo k velkým změnám v RGB snímku, který byl zachycen na stejném místě.

Snímky experimentálních prostředí. Snímky experimentu s robotem v prostředí místnosti (A), chodby (C) a lesa (E). Snímky referenčních podnětů pro školení robota a dotazovacích podnětů pro testování v prostředí místnosti (B), chodby (D) a lesa (F). Zdroj: ScienceRobotics.

Výpočetní výkon

Výpočetní výkon modelu MHNNMHNN – multimodální hybridní neuronová síť. na čipu Tianjic se porovnával s výkonem jiných počítačových platforem, jako jsou Xavier NX a Nvidia Jetson AGX Orin (známý jako AGX Orin), které se běžně používají pro mobilní roboty   inteligentní aplikace. Oba mají integrované centrální procesorové jednotky (CPU), grafické procesorové jednotky (GPU) a periferní rozhraní.

Výpočetní latenceLatence – zpoždění mezi požadavkem na provedení nějaké akce a okam6ikem, kdy je daný požadavek zpracován. je klíčovým ukazatelem výkonu pro rozpoznávání míst v robotech. Ve scénáři mobilní robotiky však nyní chybí standardizované metriky pro hodnocení schopnosti zpracování v reálném čase u modelů s více neuronovými sítěmi (multi-NN), jako je MHNNMHNN – multimodální hybridní neuronová síť.. Aby se mohl rozumně vyhodnotit výkon více neuronových sítí, musely se zvážit výkony výpočetní latence těchto platforem ve dvou aspektech, z nichž první je pracovní zatížení s jednou neuronovou sítí a druhý je pracovní zatížení s více neuronovými sítěmi. Pro demonstraci různých vlastností modelu MHNN bylo zapotřebí vyhodnotit u sítě single-NN průměrnou dobu trvání od předběžného zpracování vstupů ze všech senzorů a aktualizace MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu. až po získání platného výstupu. V reálných a praktických aplikacích roboti obvykle přijímají vstupní data z různých senzorů současně, což vyžaduje souběžné zpracovávání dat z různých neuronových sítí procesorem. Pracovní zátěže multi-NN tedy vyhodnocovaly paralelní výkon výpočetního hardwaru na úrovni úloh.

Provedly se nezávislé operace a výkonnostní testy tří skupin single-NN pracovních zátěží na více hardwarových platformách, jmenovitě CNN+MLSM, SNN+MLSM a CANN+MLSM (přesně odpovídající třem různým senzorovým vstupům). Tyto testy umožňují jednoduchý odhad výpočetního výkonu hardwarové platformy při provozu různých typů sítí. Čip Tianjic prokázal konkurenceschopný výkon v reálném čase ve třech různých pracovních zátěžích single-NN.

Experimentální výsledky výpočetní účinnosti a přesnosti. Výpočetní latence zpra­co­vá­ní jedno-NN zátěže (A) a multi-NN zátěže (B). (C) Spotřeba energie zpracování MHNN v rámci testu zátěže multi-NN. (D) Přesnost NeuroGPR běžícího na robotovi. Křivky přesnosti (E), vyvolání (F) a přesnosti vyvolání (G a H) rozpoznání místa založené na různých souborech dat. Průměrné chyby a směrodatné odchylky jsou založeny na výsledcích získaných v pěti experimentech. Zdroj: ScienceRobotics.

Hodnocení přesnosti rozpoznání místa

Dále se zkoumal praktický výkon NeuroGPR v různých prostředích pomocí metriky přesnosti, která vyhodnocuje, kolik míst dokáže robot správně rozpoznat ve všech dotazech. NeuroGPR v prostředí, jako jsou místnosti, chodby a les, vykazuje na vysokou přesnost rozpoznávání a stabilní výkon. Výkon NeuroGPR se porovnával s výkony dvou nejmodernějších biologicky inspirovaných metod rozpoznávání míst, FlyNet a SPL, a to v různých prostředích. Soubory dat byly shromážděny ve velkém vnitřním i venkovním prostředí.

V prostředí místnosti, chodby, lesa a silnice NeuroGPR překonal SPL a FlyNet. NeuroGPR má také vyšší rychlost stahování dat než SPL a FlyNet ve třech různých prostředích. NeuroGPR dosáhl robustnějšího a přesnějšího rozpoznání místa než SPL a FlyNet za různých povětrnostních a světelných podmínek.

Vliv různých síťových modulů

Zkoumal se také vliv jediného síťového modulu na výkon NeuroGPR za různých podmínek. Byly navrženy tři modely řízení selektivním vypínáním částí modulů pro zpracování informací, včetně jednoho modulu CNNCNN – Convolution Neural Network, konvoluční neuronová síť. Namísto obecného násobení matic používají CNN alespoň v jedné ze svých vrstev matematickou operaci zvanou konvoluce. V hlubokém učení je CNN třídou umělých neuronových sítí, které se nejčastěji používají k analýze vizuálních představ., modulu SNNSNN – Spiking neural network, špičková (impulzní) neuronová síť, umělá neuronová síť, která nepřenáší informace v každém cyklu, ale jen při dosažení určité prahové hodnoty na membráně. Tato síť více napodobuje přirozenou neuronovou síť. Kromě neuronálního a synaptického stavu začleňují SNN do svého provozního modelu pojem času. a tří modulů CANNCANN – Continuous Attractor Neural Network, kontinuálně-atraktorová neuronová síť, síť atraktorů, která vlastní jednu nebo více kvazikontinuálních sad atraktorů, které se v limitě nekonečného počtu neuronových jednotek blíží spojitým atraktorům. Spojitá atraktorová síť je speciálním druhem atraktorové neuronové sítě, která je zase speciálním druhem nelineárního dynamického systému.. V těchto modelech MHNNMHNN – multimodální hybridní neuronová síť. kombinuje informace ze zbývajících otevřených modulů pro rozpoznání místa. Hodnotily se funkce různých modulů na různých souborech dat, včetně datových souborů Tsinghua University (THU) – les, Brisbane-Event-VPR a chodeb.

Hybridní přístup MHNNMHNN – multimodální hybridní neuronová síť. překonal ostatní moduly na datovém souboru THU-les, čímž dosáhl vyšší přesnosti než moduly CNN, SNN a CANN. NeuroGPR dosáhl vyšší přesnosti než jednomodulové modely na datech západu slunce a noci v datovém souboru Brisbane-Event-VPR i koridorových datových souborech. Datový soubor chodby obsahoval data, kde se roboti pohybovali na stejném místě, ale v opačném směru. Vysoký výkon NeuroGPR umožnil, aby informace o poloze a směru eliminovaly chyby způsobené podobností scén z různých míst nebo různých pohledů na stejná nebo různá podlaží. Souhrnně výsledky naznačují, že NeuroGPR dokáže integrovat multisenzorické podněty pro komplexní rozhodování, poskytuje vysokou přesnost rozpoznávání a umožňuje flexibilnější použití různých sítí pro přizpůsobení se měnícím se prostředím.

Experimentální výsledky odolnosti vůči změnám prostředí. Vliv různých modulů na přesnost rozpoznávání datové sady THU-les (A), datové sady Brisbane-Event-VPR (B) a datové sady chodeb (C). Hodnocení přesnosti rozpoznávání různých modelů na datové sadě místností (D), datové sadě chodeb (E) a datové sadě Brisbane-Event-VPR (F). Průměrné chyby a směrodatné odchylky jsou založeny na výsledcích získaných v pěti experimentech. Zdroj: ScienceRobotics.

Odolnost vůči změnám prostředí

Podmínky prostředí se mohou v přírodě rychle a nepředvídatelně měnit. Při testech se hodnotil výkon NeuroGPR při třech typických změnách prostředí: různé osvětlení, změna počasí a úprava vzhledu. Simulace proběhla v prostředí, kde se do datových sad místnosti a chodby přidal šum, snížil se jas obrazu o 50 % a velikosti obrazu byla oříznuta z 346×260 pixelů na 128×128 pixelů. Kromě toho se pro testování robustnosti systému přímo použila datová sada Brisbane-Event-VPR v různých časech a za různých povětrnostních podmínek.

NeuroGPR vykazoval vyšší výkon ve srovnání s SPL a FlyNet v měnících se prostředích. Výkon NeuroGPR nebyl ovlivněn ani po snížení jasu obrázku nebo oříznutí velikosti obrázku. Ostatní moduly nadále poskytovaly stabilní a robustní výkon, i když se signály založené na snímcích zhoršily. NeuroGPR překonal SPL a FlyNet v různých světelných a povětrnostních podmínkách, což ukazuje jeho silnou robustnost. Za všech podmínek dosáhl NeuroGPR vyšší přesnosti ve srovnání s SPL a FlyNet. 

Závěr

V tomto bulletinu byl ukázán obecný systém rozpoznávání míst inspirovaný mozkem. Systém provádí multimodálníMultimodální – komunikace s více než jedním modem, tj. současná komunikace s více zdroji či vstupy. snímání, kódování a výpočty, což umožňuje mobilnímu robotovi rozpoznávat místa v přirozeném prostředí. Na rozdíl od konvenčních a biologicky inspirovaných přístupů k rozpoznávání míst se využilo multimodálního snímání, MHNNMHNN – multimodální hybridní neuronová síť.  a hybridního neuromorfního čipu ke zpracování informací o multimodálním a vícenásobném časoprostorovém měřítku pro rozpoznání místa. Experimentální výsledky ukázaly, že čip NeuroGPR byl nejen konkurenceschopný ve výkonu, ale také prokázal schopnosti s vysokou robustností, nízkou latencíLatence – zpoždění mezi požadavkem na provedení nějaké akce a okam6ikem, kdy je daný požadavek zpracován. a nízkou spotřebou energie. Pro zlepšení výkonu jednoho senzoru se integrovaly konvenční a neuromorfní senzory a emulovalo se více strategií neurálního kódování. Pro kódování a spojování víceškálových a vícerozměrných informací se využilo MHNN a navrhl se model MLSMMLSM – Multiscale Liquid State Machine, vícestupňový stroj v kapalném stavu.. MLSM využil aktivity řídkých neuronů pro reprezentaci různých senzorických informací a umožnil modelu zpracovávat multimodální informace asynchronně. To ukázalo účinnost a robustnost MLSM v mnoha přírodních prostředích.

K efektivní implementaci MHNNMHNN – multimodální hybridní neuronová síť.  se také využil neuromorfní čip Tianjic. Čip Tianjic nabízí souběžnou realizaci více neuronových sítí s různými měřítky, přesností a strukturami. Výsledky na čipu ukázaly, že flexibilní mechanizmus přesunu dat a nastavitelné časové plány umožňují efektivní datové interakce a převody signálů mezi různými sítěmi, což vede k lepší výpočetní efektivitě a nižší spotřebě energie ve srovnání s konvenčními hardwarovými systémy. Neuromorfní technologie mohou zlepšit schopnosti robotů. Budoucí práce se zaměří na integraci NeuroGPR do nové generace plně neuromorfních systémů pro simultánní lokalizaci a mapování (SLAM) a do navigačních systémů pro robotiku inspirovanou mozkem, které umožní autonomním robotům pracovat v přirozeném prostředí s vysokou robustností, vysokou výpočetní účinností a nízkou spotřebu energie.

*  *  *

„Kdekdo si stěžuje na vynechávající paměť, ale nikdo na vynechávající inteligenci.“

George Bernard Shaw

Odkazy