Ali umetna inteligenca napreduje hitreje, kot jo družba, podjetja in regulatorji še lahko varno nadzorujejo? Izvršni direktor Anthropica Dario Amodei meni, da je odgovor vse bliže pritrdilnemu. Zato poziva k »upočasnitvi meje« oziroma k počasnejšemu stopnjevanju zmogljivosti najnaprednejših modelov umetne inteligence.
Njegov predlog ni klasičen poziv k popolni ustavitvi razvoja. Gre za zahtevo, da podjetja pridobljeni čas izkoristijo za preverjanje varnosti, boljši nadzor, poročanje o incidentih in vzpostavitev pravil, preden sistemi postanejo še zmogljivejši. Amodei je predstavil tri smeri: neodvisni nadzor znotraj podjetij, usklajene varnostne standarde med vodilnimi podjetji v demokratičnih državah in omejeno globalno sodelovanje, tudi s Kitajsko.
Zakaj je vprašanje varnosti UI postalo tako pomembno?
Razprava o varnosti umetne inteligence se pogosto vrti okoli dveh povezanih pojmov: usklajenost in egzistencialno tveganje.
Usklajenost pomeni, da sistem UI počne tisto, kar ljudje dejansko želijo, in da pri doseganju cilja ne povzroča škode ali ne išče nepredvidenih bližnjic. Pri preprostih sistemih je to predvsem vprašanje napačnih odgovorov, pristranskosti ali zlorabe podatkov. Pri zelo zmogljivih avtonomnih sistemih pa se razprava premakne na vprašanje, ali bi lahko modeli samostojno izvajali zapletene naloge, dostopali do orodij, pisali kodo, iskali ranljivosti ali pomagali ustvarjati nevarne snovi.
Egzistencialno tveganje v tem okviru pomeni možnost škode v tako velikem obsegu, da bi ogrozila dolgoročno preživetje človeštva ali njegovo sposobnost samostojnega odločanja o lastni prihodnosti. Zagovorniki previdnejšega pristopa opozarjajo predvsem na scenarije, v katerih bi zelo sposobni sistemi dobili preveč avtonomije, bili uporabljeni v kibernetskih napadih, pri razvoju biološkega orožja ali pri obsežnih manipulacijah informacijskega okolja.
Skeptiki takšnih opozoril odgovarjajo, da so ti scenariji še vedno hipotetični in da obstajajo veliko bolj neposredne težave: diskriminacija pri odločanju, kršitve zasebnosti, avtomatizacija dela, koncentracija moči in širjenje dezinformacij. Prav ta razlika v pogledih določa ozadje Amodeijevega poziva.
Prvi predlog: neodvisni ocenjevalci znotraj laboratorijev
Amodei kot prvo rešitev predlaga »vgrajene ocenjevalce« iz neodvisnih organizacij, denimo METR. Ti bi delovali neposredno v podjetjih, razvijalcih najzmogljivejših modelov, ter preverjali, ali družbe spoštujejo javne zaveze glede varnosti in tempa razvoja. Prav tako bi spremljali, ali so varnostni incidenti ustrezno prijavljeni.
Anthropic naj bi se temu modelu že enostransko zavezal. Ocenjevalci bi dobili službene značke, delovni prostor in računalniško opremo ter dostop, ki bi bil v glavnem primerljiv z dostopom internih ekip za oceno tveganj.
Ideja ima intuitivno privlačnost: nadzor je učinkovitejši, če ocenjevalci niso odvisni le od poročil podjetja po končanem incidentu. Toda odpre tudi zahtevna vprašanja. Kdo določi, katere organizacije so dovolj neodvisne? Kdo jih financira? Ali lahko zunanji strokovnjaki, ki redno delajo v podjetju, dolgoročno ohranijo kritično distanco? In koliko informacij lahko dobijo, ne da bi razkrili poslovne skrivnosti, občutljive podatke ali varnostno pomembne podrobnosti?
Brez jasnih pravil o mandatu, financiranju, dostopu in javnem poročanju bi lahko takšen nadzor ostal predvsem simboličen. Po drugi strani pa bi lahko dobro zasnovan sistem pomenil pomemben premik od prostovoljnih obljub k bolj preverljivim zavezam.
Drugi predlog: skupna pravila ali nevarnost oligopola?
Druga Amodeijeva točka je koordinacija vodilnih podjetij UI v demokratičnih državah. Predlaga skupne varnostne standarde in omejitve glede hitrosti »nenadzorovanega« napredka.
Tu se pojavi vprašanje konkurenčnega prava. Podjetja, ki se med seboj dogovarjajo o omejevanju razvoja, cenah, dostopu do trgov ali drugih ključnih poslovnih odločitvah, lahko hitro naletijo na protimonopolna pravila. Namen teh pravil je preprečiti, da bi konkurenti namesto tekmovanja oblikovali kartel in škodovali potrošnikom, manjšim podjetjem ali inovacijam.
Amodei zato meni, da bi ameriška vlada morala vsaj omogočiti pogovore o varnosti, morda z ozko izjemo za določene vrste usklajevanja. Njegov argument je, da podjetja potrebujejo varen pravni okvir za razpravo o skupnih varnostnih pragovih.
Kritiki pa bi lahko opozorili, da takšna ureditev tvega utrjevanje položaja največjih laboratorijev. Prav podjetja z največ kapitala, računske infrastrukture in političnega vpliva bi določala standarde, ki bi jih manjši igralci težje izpolnili. Varnostni standardi so lahko nujni, vendar lahko postanejo tudi vstopna ovira za konkurenco, če so oblikovani brez javnega nadzora in brez prostora za akademske ustanove, odprtokodne projekte ter manjša podjetja.
Ključno vprašanje zato ni le, ali naj obstajajo skupni standardi, ampak kdo jih piše, komu odgovarja in ali preprečujejo nevarne prakse, ne da bi hkrati zaklenili trg v korist peščice največjih podjetij.
Tretji predlog: sodelovanje s Kitajsko ob geopolitičnem tekmovanju
Amodei kot tretjo smer predlaga globalno koordinacijo. ZDA in zaveznice bi morale po njegovem poskusiti sodelovati tudi z avtoritarnimi državami, kolikor je to mogoče. Izrecno omenja Kitajsko, čeprav priznava, da so možnosti omejene.
To je ena najbolj zapletenih točk njegovega načrta. ZDA in Kitajska sta hkrati tehnološki tekmici in državi z različnimi političnimi sistemi, varnostnimi interesi ter pogledi na nadzor informacij. ZDA že omejujejo dostop kitajskih podjetij do nekaterih naprednih čipov in opreme za proizvodnjo polprevodnikov, Amodei pa ocenjuje, da bi takšni ukrepi skupaj z omejevanjem destilacije modelov lahko ohranili oziroma povečali ameriško prednost v prihodnjih letih.
Toda tekmovanje in sodelovanje se ne izključujeta nujno popolnoma. Amodei vidi prostor za dogovor vsaj pri ozko opredeljenih, očitno nevarnih uporabah, kot je uporaba UI pri razvoju biološkega orožja. Takšni dogovori bi bili podobni minimalnim varnostnim pravilom med tekmeci: ne pomenijo zaupanja, temveč priznanje, da nekatere posledice presegajo nacionalne interese.
Vprašanje ostaja, kako preverjati spoštovanje takšnih dogovorov. Brez preglednosti, mehanizmov preverjanja in politične volje bi lahko ostali zgolj na ravni načelnih izjav.
Previdnost ali regulativno zajetje?
Amodeijev poziv prihaja v obdobju ostrejših opozoril znotraj industrije. Raziskovalec Jacob Coxon je ob odhodu iz Anthropica opozoril, da vodilna podjetja po njegovem mnenju tvegajo preveč, medtem ko naj bi se ljudje, ki tehnologijo razvijajo, zavedali možnosti zelo hudih posledic.
Toda opozorila o apokaliptičnih tveganjih imajo tudi glasne kritike. Novinar Brian Merchant je denimo podvomil, da obstaja prepričljiva, postopna razlaga, kako bi UI od samostojnega izboljševanja prešla do uničenja človeštva. Obenem je opozoril, da bi predlogi, kakršnega predstavlja Amodei, lahko predvsem koristili največjim podjetjem, kot sta Anthropic in OpenAI.
Ta očitek meri na pojav, imenovan regulativno zajetje: položaj, v katerem pravila navidezno ščitijo javnost, v praksi pa jih največji igralci oblikujejo tako, da utrjujejo njihov položaj. Velika podjetja si lahko privoščijo obsežne varnostne ekipe, pravnike, revizije in računsko infrastrukturo. Manjši tekmeci teh stroškov pogosto ne morejo enostavno absorbirati.
Zato lahko isti ukrep deluje na dva načina. Lahko zmanjša nevarnost neodgovornega razvoja, lahko pa tudi zmanjša konkurenco in poveča odvisnost javnosti od nekaj zasebnih laboratorijev. Oboje je mogoče hkrati, zato razprava ne bi smela obstati pri vprašanju, ali je regulacija potrebna, temveč kakšna regulacija je legitimna, pregledna in sorazmerna.
Amodei poudarja, da njegova želja po koristih umetne inteligence ostaja nespremenjena. Verjame, da lahko UI bistveno izboljša človeško življenje, vendar le, če je razvita premišljeno in z dovolj časa za preverjanje tveganj.
Njegov poziv zato odpira širšo dilemo: je upočasnitev razvoja modra varovalka pred tehnologijo, ki postaja preveč zmogljiva, ali pa strategija, s katero največji laboratoriji preoblikujejo pravila globalnega trga v svojo korist? Od odgovora ne bo odvisna le hitrost razvoja umetne inteligence, temveč tudi to, kdo bo odločal o njenih mejah.
