# Ko AI razmišlja v zanki: zakaj nova tehnika OpenAI skrbi varnostne strokovnjake
Bolj kot modeli umetne inteligence postajajo sposobni samostojnega sklepanja, pomembnejše postaja vprašanje, ali ljudje še lahko razumejo in nadzorujejo, kako so prišli do svojih odločitev. Prav to je v središču razprave o domnevni novi tehniki OpenAIjevega modela Astra.
Kot je poročal The Information, naj bi Astra uporabljala pristop, imenovan *recurrent depth* oziroma neprosojna rekurzija. Metoda naj bi modelu omogočala, da isto vprašanje ali problem večkrat notranje obdela v zanki, namesto da bi celoten proces reševanja prikazal kot jasno zaporedje korakov. OpenAI naj bi tehniko uporabljal omejeno, vendar je že sama možnost njenega širšega uvajanja sprožila opozorila med raziskovalci varnosti umetne inteligence.
## Od vidnih korakov do notranjega »prežvekovanja« problema
Razliko je mogoče poenostavljeno predstaviti z analogijo. Pri običajnem modelu za sklepanje bi umetna inteligenca problem reševala podobno kot učenec pri matematični nalogi: korak za korakom, z zapisanim postopkom. Temu se pogosto reče veriga misli oziroma *chain of thought*.
Tak zapis sicer ni popoln neposreden prikaz dejanskega notranjega delovanja modela, je pa koristen. Raziskovalcem lahko pomaga ugotoviti, ali je model prišel do odgovora na razumen način, ali je uporabil napačne predpostavke ter ali je poskušal zaobiti navodila ali varnostne omejitve.
Pri neprosojni rekurziji pa bi model problem večkrat »prežvečil« znotraj svojega sistema, pri čemer bi bilo navzven vidnih manj vmesnih korakov. Končni odgovor je lahko še vedno pravilen, vendar bi bilo težje ugotoviti, kako je model do njega prišel.
To postane pomembno zlasti, kadar se modeli uporabljajo pri občutljivih nalogah: odločanju o dostopu do storitev, prepoznavanju pristranskosti, usmerjanju avtonomnih agentov, filtriranju škodljivih vsebin ali analizi informacij, kjer lahko napačna odločitev povzroči konkretno škodo.
## Raziskovalci opozarjajo na izgubo nadzora
Buck Shlegeris, izvršni direktor raziskovalne organizacije Redwood Research, je po objavi novice zapisal, da ga poročanje o uporabi neprosojne rekurzije v Astri »izjemno skrbi«.
Po njegovem mnenju še ni jasno, ali je Astro zaradi te tehnike bistveno težje spremljati kot prejšnje modele. Kljub temu opozarja, da bi OpenAI lahko s širšim uvajanjem pristopa povečal delež skritega notranjega sklepanja in tako močno zmanjšal uporabnost spremljanja verige misli.
Podobno je opozoril Zvi Mowshowitz, dolgoletni zagovornik varnosti umetne inteligence. Po njegovih besedah tehnika tvega rušenje neformalnega standarda, ki ga skušajo vzpostaviti vodilni laboratoriji: da bi bila veriga misli modelov čim bolj zvesta, razumljiva in uporabna za nadzor.
»Bolj intenzivna uporaba takšnih tehnik bi verjetno zmanjšala možnost spremljanja,« je zapisal Mowshowitz. Dodal je, da bi bile morda potrebne tudi zakonske omejitve, če bi med laboratoriji nastala tekma, v kateri bi podjetja za večjo zmogljivost žrtvovala preglednost.
## OpenAI: uporaba naj bi bila omejena
OpenAI je po poročanju TechCruncha zavrnil namige, da bi Astra prešla v povsem nerazumljivo obliko notranjega sklepanja, včasih imenovano tudi »neuralese«. Podjetje naj bi poudarilo, da naj bi bila veriga misli modela še naprej berljiva.
Glavni znanstvenik OpenAIja Jakub Pachocki je v objavi na omrežju X zapisal, da podjetje spremljanje verige misli ohranja in uporablja že od svojih prvih modelov za sklepanje.
»To je temeljni cilj našega trenutnega raziskovalnega programa,« je poudaril Pachocki.
OpenAI je že napovedal razvoj obsežnejših sistemov za spremljanje verige misli v okviru svojih varnostnih načrtov. Toda kritiki opozarjajo, da je težava lahko prav v prihodnjem obsegu uporabe neprosojnega sklepanja, ne nujno v trenutni, omejeni izvedbi.
## Nevarnost sklepanja v »latentnem prostoru«
Ryan Greenblatt, glavni znanstvenik pri Redwood Research, meni, da bi se neprosojno sklepanje lahko širilo hitreje kot klasično sklepanje prek besedilne verige misli.
Opozoril je na možnost, da bi modeli sčasoma vse več razmišljanja izvajali v tako imenovanem latentnem prostoru. Gre za notranji matematični prostor modela, v katerem informacije niso predstavljene kot človeku razumljive besede ali stavki, temveč kot kompleksni vzorci številskih povezav.
Če bi model sklepal skoraj povsem v tem prostoru, bi raziskovalci veliko težje prepoznali znake zavajanja, pristranskosti, nevarnih ciljev ali napačnega razumevanja naloge. To ne pomeni nujno, da bi bil model zato nevaren, vendar bi bilo njegovo vedenje bistveno težje preverjati in popravljati.
Po nadaljnjem poročanju The Information naj bi o podobnih tehnikah že razpravljali tudi pri Anthropicu in Google DeepMindu. Razprava o Astri zato presega en sam model ali podjetje.
Ključno vprašanje prihodnjih let bo, ali lahko laboratoriji razvijajo zmogljivejše načine sklepanja, ne da bi pri tem izgubili možnost razumevanja in nadzora nad njihovim delovanjem. Pri umetni inteligenci namreč ni dovolj, da sistem poda pravilen odgovor — pomembno je tudi, ali lahko ugotovimo, zakaj je do njega prišel.
