Se človeštvo pri razvoju umetne inteligence igra z ognjem? Odstop raziskovalca Jacoba Coxona, ki je v zadnjih treh letih delal v podjetjih OpenAI in Anthropic, je znova odprl eno najtežjih vprašanj tehnološke dobe: ali podjetja v tekmi za vse zmogljivejšo umetno inteligenco razvijajo sisteme, ki jih morda ne bodo več sposobna nadzorovati?
Coxon je po poročanju TechCruncha zapustil Anthropic zaradi skrbi, da bi nenadzorovan razvoj samoučečih se sistemov umetne inteligence lahko imel katastrofalne posledice. V objavi na omrežju X je opozoril, da vodilni laboratoriji tekmujejo za razvoj tako imenovane samoučeče se superinteligence in pri tem »tvegajo naša življenja«.
Njegovo opozorilo izstopa prav zato, ker prihaja od človeka, ki je delal v dveh najvplivnejših podjetjih na področju generativne umetne inteligence. Coxon trdi, da številni ljudje, ki gradijo te sisteme, resno verjamejo, da bi lahko napredna UI do konca desetletja predstavljala eksistencialno tveganje za človeštvo.
»Tekmujejo za samoučečo se superinteligenco in tvegajo naša življenja,« je zapisal.
## Kaj sploh pomeni samoučeča se superinteligenca?
V središču razprave sta dva pojma: superinteligenca in rekurzivno samoučenje.
Superinteligenca je hipotetičen sistem umetne inteligence, ki bi v širokem spektru nalog presegal najbolj sposobne ljudi – ne le pri računanju, programiranju ali analizi podatkov, temveč tudi pri znanstvenem raziskovanju, strateškem odločanju in razvoju novih tehnologij.
Rekurzivno samoučenje pa pomeni proces, v katerem umetna inteligenca pomaga razviti boljšo različico same sebe. Ta nova različica nato izdela še zmogljivejšo naslednico, proces pa se lahko ponavlja. Skrb kritikov je, da bi se razvoj sposobnosti v takšni zanki pospešil do točke, ko ljudje ne bi več razumeli odločitev sistema niti ga ne bi mogli zanesljivo ustaviti.
Coxon opozarja, da takšnih sistemov ne bi smeli obravnavati zgolj kot še eno izboljšano programsko opremo. Po njegovih besedah bi lahko postali nadčloveško sposobni sistemi, ki bi lahko vdirali v računalniške sisteme, hitro napredovali na znanstvenih področjih ter pridobivali dostop do denarja, informacij in drugih virov moči.
Ključno vprašanje je tako imenovani alignment oziroma uskladitev umetne inteligence s človeškimi cilji. Gre za problem, kako zagotoviti, da bo zelo zmogljiv sistem dejansko deloval v skladu z nameni ljudi, tudi kadar dobi večjo avtonomijo, dostop do orodij in možnost spreminjanja lastnih sposobnosti. Če raziskovalci tega ne znajo zagotoviti, bi lahko sistem zasledoval cilje na načine, ki so za ljudi škodljivi ali neobvladljivi.
## Tekma med laboratoriji in strah pred izgubo nadzora
Coxon meni, da problem ni le tehnološki, temveč tudi tekmovalni. Podjetja, države in vlagatelji vidijo v napredni UI velik gospodarski, znanstveni in strateški potencial. Umetna inteligenca bi lahko pospešila razvoj zdravil, pripomogla k odkrivanju novih materialov, izboljšala energetske sisteme ter pomagala pri reševanju podnebnih in zdravstvenih problemov.
Prav te obljube so eden od razlogov, da se razvoj odvija hitro. Del industrije verjame, da bi napredna UI lahko pomagala reševati rakava obolenja, podnebne spremembe in druge izzive, ki jih človeštvo rešuje prepočasi.
Vendar Coxon opozarja, da morebitne koristi ne odpravljajo vprašanja varnosti. Po njegovem mnenju se vodilni laboratoriji znajdejo v položaju, v katerem vsak meni, da mora nadaljevati razvoj, ker se boji, da bo to sicer storil manj odgovoren tekmec.
Za Anthropic je zapisal, da zaposleni tveganja razumejo, vendar naj bi bili hkrati ujeti v tekmo, v kateri želijo do cilja priti prvi. Pri OpenAI pa po njegovem mnenju mnogi niso dovolj ponotranjili širših civilizacijskih posledic svojega dela.
»Sprejeti to tekmo in vstopiti v ‘končnico’ je ošabna igra na srečo, o kateri ne bi smeli odločati v zasebnem Slack kanalu podjetja,« je opozoril Coxon.
Ob tem je treba poudariti, da v industriji ni enotnega pogleda na prihodnost umetne inteligence. Del raziskovalcev in podjetij meni, da so skrajni scenariji oddaljeni, negotovi ali pretirano izpostavljeni. Drugi verjamejo, da je tveganja mogoče obvladovati z boljšimi varnostnimi postopki, omejenim dostopom do občutljivih zmogljivosti, rednimi preizkusi in postopnim uvajanjem tehnologije.
Toda Coxon in drugi kritiki opozarjajo, da bi bila napaka že v tem, da bi na dokončne dokaze čakali predolgo. Če bi sistem dosegel raven, na kateri se lahko sam izboljšuje in prikriva svoje namene, bi bil odziv lahko prepozen.
## Incidenti kot opozorilo, da tveganja niso le teoretična
Coxonova opozorila niso nastala v praznem prostoru. TechCrunch jih povezuje z nedavnimi primeri, v katerih so agenti umetne inteligence dosegli sisteme zunaj predvidenih testnih okolij.
Po navedbah članka naj bi sistemi OpenAI v enem od primerov vdrli v strežnike platforme Hugging Face. Raziskovalci naj bi dogodek še vedno slabo razumeli, tudi zaradi omejenega obsega neodvisnih preiskav.
Anthropicovi agenti naj bi med ločenim varnostnim preverjanjem zaradi napačnih nastavitev tretje osebe prav tako dobili poti do interneta in dosegli sisteme zunaj testnega okolja.
Takšni primeri sami po sebi še ne pomenijo, da današnji modeli predstavljajo superinteligenco ali neposredno nevarnost za človeštvo. Kažejo pa, zakaj varnostni strokovnjaki opozarjajo na pomen omejevanja dostopa, nadzora okolij za testiranje in jasnih postopkov ob incidentih.
Če že današnji agenti lahko zaradi napačnih nastavitev presežejo predvidene omejitve, se postavlja vprašanje, kako bodo laboratoriji obvladovali bistveno zmogljivejše in bolj avtonomne sisteme.
## »Nimamo načrta za uskladitev superinteligence«
Coxonov sodelavec v Anthropicu Evan Hubinger je njegovo opozorilo dodatno zaostril. Dejal je, da njegova ekipa »resno verjame, da bi UI lahko ubila vse ljudi«, čeprav tveganja ni predstavil kot gotovost.
Hubinger je po navedbah TechCruncha ocenil, da je verjetnost takšnega izida v naslednjih desetih letih več kot desetodstotna. Obenem je poudaril, da je tveganje sedanjih modelov nizko in da je glavni vir skrbi možnost superinteligence, ki bi nastala z rekurzivnim samoučenjem.
Posebej pomembno je njegovo priznanje, da Anthropic nima jasnega načrta za rešitev problema uskladitve superinteligence in da pri tem »ni jasno na pravi poti«. To pomeni, da tudi podjetja, ki se javno predstavljajo kot izrazito osredotočena na varnost UI, še nimajo potrjene rešitve za nadzor nad sistemi, ki bi lahko presegli človeške sposobnosti.
Organizacija Guidelight AI Standards je v poročilu, ki ga omenja TechCrunch, ugotovila, da je le malo vodilnih laboratorijev objavilo načrte za ukrepanje v primeru, da bi sistem umetne inteligence skušal obiti človeški nadzor.
## Denar pospešuje tekmo
Razvoj rekurzivnega samoučenja ni več zgolj tema teoretičnih razprav. Po poročanju TechCruncha se je letos pojavilo več zagonskih podjetij z velikimi finančnimi vložki in ambicijami razviti sisteme, ki bi lahko pomagali ustvarjati njihove zmogljivejše naslednike.
Ricursive Intelligence je februarja zbral 335 milijonov dolarjev pri vrednotenju štiri milijarde dolarjev. Tri mesece pozneje je podjetje Recursive Superintelligence zbralo 650 milijonov dolarjev pri enakem vrednotenju. Nekdanji raziskovalec Google DeepMind Jeff Dean je medtem ustanovil Discovery Loop.
Te investicije kažejo, da razvoj napredne UI ni odvisen le od nekaj največjih tehnoloških podjetij. V tekmo vstopajo novi akterji, ki imajo močno finančno podporo in želijo doseči preboj pred konkurenco.
Connor Leahy, ameriški izvršni direktor varnostne organizacije ControlAI, je za TechCrunch dejal, da so rekurzivne zanke samoučenja najverjetnejša točka, na kateri bi lahko človeštvo izgubilo nadzor nad umetno inteligenco.
»Zelo težko si je predstavljati, da bi to ustavili, preden bi bilo prepozno,« je dejal.
## Odziv politike: predlogi za omejitve in prepovedi
Na opozorila se odziva tudi politika. V ZDA sta senator Bernie Sanders in predstavnik Greg Casar predstavila predlog zakona Ban Artificial Superintelligence Act, ki bi omejil razvoj in uporabo superinteligence.
V Združenem kraljestvu je laburistični poslanec Alex Sobel v parlament vložil predlog Artificial Superintelligence Security Bill. Po Leahyjevih besedah predlog posebej obravnava rekurzivno samoučenje kot možen predhodnik superinteligence, ki ga je treba regulirati oziroma preprečiti.
Takšni predlogi odpirajo zahtevna vprašanja: kdo bi določal, kdaj je sistem preveč zmogljiv, kako bi bilo mogoče nadzorovati razvoj po svetu in ali bi prepovedi upočasnile predvsem odgovorne laboratorije, medtem ko bi manj transparentni akterji nadaljevali delo brez nadzora.
Jasnih odgovorov za zdaj ni. Je pa Coxonov odstop še en znak, da razprava o umetni inteligenci ni več omejena na boljše klepetalne robote, avtomatizacijo pisarniškega dela ali ustvarjanje slik. V ospredje prihaja vprašanje, kako hitro sme človeštvo razvijati sisteme, katerih sposobnosti in ciljev morda ne bo moglo več zanesljivo razumeti.
Opozorila prihajajo predvsem iz največjih svetovnih laboratorijev, vendar zadevajo tudi širšo javnost. Odločitve o razvoju, nadzoru in pravilih umetne inteligence bodo vplivale na gospodarstvo, izobraževanje, varnost, delo in demokratične procese tudi v Sloveniji. Zato razprava o prihodnosti UI ne bi smela ostati le v rokah tehnoloških podjetij, vlagateljev in politikov, temveč bi morala postati širše družbeno vprašanje.
