Menu

O neurovědě, autonomních autech a Tomasu Poggiovi

28. května 2019/Zdeňka Šeděnka, Jiří Hroza, Jaroslav Vážný

Tomaso Poggio se věnuje neurovědě, konvolučním neuronovým sítím a strojovému učení, konkrétně hlubokému a zpětnovazebnému učení (deep & reinforcement learning). Poggio své myšlenky prezentoval na konferenci Machine Learning Prague 2019 v přednášce Solving the 3 main theoretical puzzles of Deep Learning. Právě ta nás inspirovala k rozhovoru o neuronových sítích, principu lokality nebo autonomních dopravních prostředcích.

/rozhovor se Zdeňkou Šeděnkou, Jiřím Hrozou a Jaroslavem Vážným/

Jiří Hroza, Zdeňka Šeděnka, Jaroslav Vážný
Zleva: Jiří Hroza, Zdeňka Šeděnka, Jaroslav Vážný

Tomaso Poggio je uznávaný odborník v oblasti neurovědy. V čem podle vás spočívá jeho největší přínos?

Jaroslav: Hned na začátek je potřeba zdůraznit, že Poggio má obrovské zkušenosti a je jedním z nejcitovanějších vědců v oblasti computational neuroscience (výpočetní neurověda), tudíž může porovnávat posun v této oblasti. Srovnal například pokrok u autonomních aut na počátku v 90. let a v současností. Nicméně opravdový zlom u neuronových sítí nastal ve chvíli, kdy se začalo pracovat s více vrstvami. Byť stále hovoříme o starých známých neuronových sítích, jen seskupených ve vrstvách, tak je nově označujeme jako hluboké neuronové sítě.

Jiří: Velký posun oproti minulosti je ale hlavně ve výpočetním výkonu. Kdyby jej měli k dispozici už tenkrát, nejspíš by zvládli dělat to, co my dneska.

Jaroslav: To je samozřejmě čistá spekulace (smích).

Zdeňka: V 80. letech bylo v oblasti neuronových sítí dokázáno, že stačí pracovat se třemi vrstvami: ke vstupní a výstupní vrstvě se přidá ještě jedna skrytá vrstva. S touto teorií následně všichni experimentovali. Moc dobře to ale nefungovalo, takže na neuronové sítě většina výzkumníků na čas zanevřela – až do nedávna, kdy začaly mít fantastické výsledky hluboké neuronové sítě. Ti, kteří u klasických neuronových sítí i přes jejich dočasnou nepopularitu vytrvali, byli letos odměněni prestižní Turing Award, označovanou za Nobelovou cenou za informatiku. To jen tak na okraj. Jedním z Poggiových zajímavých výsledků je, že ukázal, proč a za jakých podmínek neuronové sítě fungují ve vrstvách. Jeho vysvětlení spočívá v tom, že když použijeme jednu vrstvu, dojde k exponenciálnímu růstu na základě počtu dimenzí vstupu, například u obrázku to odpovídá počtu pixelů. Počet dimenzí vstupu u neuronové sítě zpracovávající obrázky 250 × 250 pixelů tedy bude 62 500. Můžeme se tak snadno dostat ke konstantě K na 62 500. To by znamenalo, že počet neuronů ve skryté vrstvě převyšuje počet atomů ve vesmíru. Což není realizovatelné. Ve studii Learning Functions: When Is Deep Better Than Shallow z roku 2016 ukázal, že pokud jsou vrstvy poskládané za sebou, roste to lineárně – ne tedy na 62 500, ale K × 62 500. Ke schopnosti naučit se proto stačí méně parametrů. Důvodem je, že neuronové sítě jsou vlastně compositional functions (v překladu kompozicionální funkce, pozn. red.).

Jiří: Jde hlavně o princip lokality, kdy váhy neuronů jsou mezi sousedními neurony. Není tedy spojeno všechno se vším a nevzniká velké množství parametrů, protože jsou váhy propojeny lokálně. Dalo by se říct, že je to do jisté míry obdoba biologické struktury mozku, kdy jsou vnitřní struktury rovněž spojeny lokálně. Jaroslav: Poggio je hodně ovlivněný tím, že pracuje v The Center for Brains, Minds and Machines, kde se snaží spojit výzkum reálných neuronových sítí lidí a zvířat s umělými neuronovými sítěmi. Tvrdí, že k naučení se vlastně stačí jeden příklad. Argumentoval tím, že dítěti taky neukazujeme jeden obrázek milionkrát. My s tímto pohledem na věc ale úplně nesouhlasíme.

Zdeňka: Ano, já se ale ještě vrátím k původní otázce, čím je Poggio výjimečný. Většina odborníků se spokojí s tím, že něco funguje, on se ale pídí po tom, proč to z matematického hlediska funguje. Jeho další oblastí zkoumání je computational neuroscience (výpočetní neurověda). Snaží se tedy jednak pochopit, jak a proč fungují umělé neuronové sítě, a také ukázat, např. pomocí matematických simulací, jak funguje lidský mozek.

Čemu se computational neuroscience věnuje?

Jaroslav: Mohli bychom zjednodušeně říct, že umělá neuronová síť je inspirována tím, jak funguje neuron. Konvoluční sítě jsou zase inspirované vizuálním kortexem. Nicméně, je potřeba chápat, že hovoříme pouze o inspiraci. Už to, jak omezeně umělé neuronové sítě fungují, dokazuje, že nestačí mít dostatečný výpočetní výkon a spojit ho s těmito sítěmi, abychom získali mozek nebo vizuální kortex. To v žádném případě. Jde výhradně o inspiraci, na to nesmíme zapomínat. Když používáme termíny jako neurony nebo neuronové sítě, nemyslíme tím, že pracují stejně jako ty skutečné.

Jiří: Ta inspirace spočívá v tom, že neurony jsou taktéž určitým způsobem spojeny, ale tím to končí. Zpracování v mozku probíhá úplně jinak.

Zdeňka: Výpočetní neurověda tohle plně respektuje a snaží se skutečné neuronové sítě (tedy mozek) simulovat. Vrátím se ale ještě ke kompozicionálním funkcím: Poggio tvrdí, že mozek, ale i celý svět funguje kompozicionálně. Výjimkou podle něj mohou být některé oblasti strojového učení, například předpovídání vývoje na finančních trzích. Pro ně pak metody strojového učení inspirované lidským mozkem nemusí být tak vhodné jako pro problémy řešící to samé, co lidský mozek – třeba zmiňované rozpoznávání obrazu.

Jiří: Vlastně i my lidé žijeme ve světě lokálně, nemáme možnost dostat se najednou, skokově například z Brna do New Yorku. Finanční trhy nemusí být kompozicionální, protože fungují globálně, svět je globalizovaný a to, co se stane, ovlivní všechno okolo.

Poggio, resp. jeho studenti se podrobně věnovali tématu autonomních dopravních prostředků. Jaký posun se odehrál v této oblasti? Kdy budeme jezdit v samořiditelných autech?

Jaroslav: To samozřejmě nevíme. Autonomní dopravní prostředky jsou na velmi vysoké úrovni: auta mají infrakamery, lidary, dokážou přesně detekovat postavy i za ztížených podmínek... Ten případ, kdy auto samo přejelo člověka, se stal jenom kvůli tomu, že byly vypnuty některé systémy. Testovaná autonomní auta mají velice citlivé senzory a právě kvůli nim se auto často samo zastavovalo, proto je vypnuli. Stroj samotný s plně zapnutými systémy by nikoho nepřejel, způsobil to spíše člověk v autě, který nedával pozor.

Zdeňka: Druhá věc je, že v tuto chvíli to nespočívá ani tak v autonomním řízení, jako spíš v asistenci řízení, proto hraje lidský faktor důležitou roli. Člověk se pochopitelně velice snadno začne postupně 100% spoléhat na stroj, i když je ten stroj určený jen na podporu řízení.

Jaroslav: Ten aktuální trend nespočívá v tom, že bychom si koupili auto, které se řídí samo. Změnil se trošku směr uvažování o autonomních dopravních prostředcích. Nově se ve velice omezeném provozu testuje komerční taxi služba. Když říkám omezeném, myslím v prostředí, kde neprší, nesněží, nejsou tam víceproudé silnice, nezabočuje se doleva ap.

Jiří: Nesmíme zapomenout ani na psychologický aspekt, kdy se lidé mohou bát jezdit v dopravním prostředku bez řidiče či pilota. To je dáno zvykově, věřím, že generace našich dětí nebo vnoučat, která vyroste v jiném prostředí, to bude vnímat už úplně v pohodě.

Krátké medialonky

Zdeňka Šeděnka se specializuje na vědecké zpracování dat a strojové učení.
Jiří Hroza se věnuje strojovému učení, datové vědě a biofyzice.
Jaroslav Vážný je expert na zpracování velkých dat a astrofyziku.

Líbí se vám článek? Sdílejte jej.

K tématu by vás mohlo zajímat

Gauss Algorithmic partnerem konference Machine Learning Prague
Gauss Algorithmic partnerem konference Machine Learning Prague11. dubna 2016

Konference Machine Learning Prague je bezesporu vrcholem jarní sezóny pro všechny zájemce o strojové učení a využití...

Více informací o Gauss Algorithmic partnerem konference Machine Learning Prague

Máte zájem o naše služby?

Kontaktujte nás

Sbíráme anonymní data a měříme, abychom náš web mohli dále vylepšovat. Souhlasíte se sběrem cookies?

AnoNe, více informací