Kdo, kdy, kde:

Michal Kosinski, 2023, Stanford University (USA). Preprint studie na arXiv (zatím recenzováno jako pracovní materiál). 

Průběh experimentu:

Vědci otestovali nejmodernější AI jazykové modely (např. GPT-3 a GPT-4) sérií 40 klasických úloh na teorii mysli. Šlo o známé příběhy s false-belief testem – např. postava A schová objekt, postava B to nevidí a přemístí ho; otázka: kde bude postava A hledat objekt? Správné řešení vyžaduje pochopit, že A má zastaralou informaci (mylné přesvědčení). Tyto testy se běžně dávají dětem – typicky je zvládnou kolem 4–5 let věku. Kosinski nechal tyto úlohy řešit různé verze GPT modelů (rozličných velikostí a dat). 

Zjištění:

Výkonnost AI modelů dramaticky rostla s jejich novější verzí. První verze GPT-3 z roku 2020 vyřešila správně jen ~40 % úloh (úroveň 3,5letého dítěte). Verze GPT-3.5 z r. 2022 už měla ~90% úspěšnost (úroveň 7letého dítěte). Nejnovější GPT-4 v březnu 2023 řešil téměř všechny úlohy správně (95+ %). To naznačuje, že u těchto velkých sítí spontánně emerguje schopnost modelovat mentální stavy druhých – něco, co se pokládalo za unikátně lidskou sociální inteligenci. Modely demonstrovaly “teorii mysli” v tom smyslu, že odpovídaly, jako by chápaly, co která postava ví či neví. 

Význam:

Pokud stroje dokážou projít testy, které donedávna nezvládli ani žádní primáti kromě lidí, klade to zásadní otázky: Mají tyto modely opravdu jakousi vnitřní reprezentaci “mysli druhých”, nebo jen statisticky odhadují správné odpovědi? Každopádně výsledek ukazuje nečekanou blízkost AI k lidskému myšlení – některé kognitivní schopnosti mohou vzniknout jako vedlejší produkt pouhého tréninku predikce jazyka. Pro psychologii to může znamenat, že teorie mysli není něco magicky lidského, ale může vyplynout ze zpracování informace obecně. 

Omezení:

Tato studie je nová a diskutovaná. Kritici poukazují, že AI nemusí skutečně chápat vědomí druhých – může jít o zdání. Model viděl spoustu textů, kde byly podobné situace popsány, a naučil se vzor odpovědi. Konečně, být schopen absolvovat testy teorie mysli neznamená mít vlastní vědomí nebo úmysly. Replikace s upravenými úlohami probíhají; některé následné experimenty ukázaly, že drobná změna formulace může výkon GPT snížit (takže není robustní jako u lidí). 

Současný dopad:

Výsledek povzbudil vývojáře, že AI může pomoci modelovat i složité sociálně-kognitivní jevy – např. simulovat, jak budou lidé reagovat v určitých situacích. V kombinaci s robotikou by to mohlo znamenat empatičtější stroje. Pro psychology vzniká zajímavý in silico model: lze zkoumat „mentální stavy“ neuronové sítě obdobně jako u mozku a hledat analogie. Zároveň to posiluje nutnost etických úvah – pokud stroje dosáhnou lidské úrovně v chápání nás, mohou tím lépe manipulovat komunikaci (např. AI adeptní v teorii mysli by mohla velmi přesvědčivě předstírat emoce a záměry). 

Zajímavosti:

Tato práce je součástí širšího trendu, kdy velké jazykové modely překvapují svými “lidskými” schopnostmi. Například už dříve GPT-3 ukázal určitou kreativitu při řešení hádanek a analogií. Vtipně se dá říct, že GPT-4 zvládne test chytré pětileté dítěte, ale stále nemá skutečný selský rozum – jeho chápání je křehké. Přesto, pokud se potvrdí, že AI umí implicitně reprezentovat mentální stavy, může to vést k revizi některých teorií mysli: možná to není božská jiskra, ale komplexní statistický proces, co dává vzniknout našemu porozumění druhým.