## Ali bi morali razvoj superinteligence ustaviti, preden postane prepozno?
Kaj se zgodi, če umetna inteligenca postane bolj sposobna od ljudi – in je hkrati ne znamo zanesljivo nadzorovati? To je osrednje vprašanje pogovora v podkastu Equity medija TechCrunch, v katerem Connor Leahy iz organizacije ControlAI zagovarja precej radikalno rešitev: razvoj superinteligentne UI bi morali ustaviti, ne le regulirati.
Leahy superinteligence ne razume kot še enega naprednega digitalnega orodja ali orožja v rokah države oziroma podjetja. Njegovo sporočilo je ostrejše: tak sistem bi bil lahko samostojen in nepredvidljiv akter – »adversary«, nasprotnik –, katerega cilji ne bi nujno sovpadali s človeškimi interesi.
To je eno bolj spornih stališč v hitro razvijajoči se razpravi o prihodnosti umetne inteligence. Del raziskovalcev, podjetnikov in vlagateljev meni, da bi zelo zmogljivi sistemi lahko pospešili znanstvena odkritja, razvoj zdravil, energetske preboje in reševanje kompleksnih podnebnih, gospodarskih ter družbenih problemov. Drugi, med katere sodi Leahy, opozarjajo, da koristi ne upravičujejo tveganja razvoja sistema, ki bi lahko presegel človekovo sposobnost nadzora.
## Meja ni inteligenca, temveč sposobnost samonadgrajevanja
Ključni trenutek, na katerega opozarja Leahy, nastopi, ko umetna inteligenca ne bi več zgolj opravljala nalog, temveč bi lahko sama pomagala razvijati svojo naslednjo, zmogljivejšo različico.
Tak scenarij se pogosto opisuje kot rekurzivno samonadgrajevanje. Zelo poenostavljeno: sistem pomaga raziskovalcem izboljšati model, izboljšani model nato še hitreje in bolje razvija naslednji model, proces pa se lahko pospešuje. Ne gre nujno za hipen preskok v znanstveno fantastiko, temveč za tveganje, da bi ljudje postopoma izgubili sposobnost razumeti, preverjati in omejevati odločitve sistema.
Prav tu se razhajajo pogledi med zagovorniki nadaljnjega razvoja in njegovimi kritiki. Podjetja, ki razvijajo najzmogljivejše modele, poudarjajo potencialne koristi: UI bi lahko pomagala raziskovalcem pri iskanju novih zdravil, odkrivanju materialov, pisanju programske opreme in analizi ogromnih količin podatkov. Tekmovanje med laboratoriji, državami in tehnološkimi velikani dodatno krepi prepričanje, da je nadaljnji razvoj skoraj neizogiben.
Leahyjev protiargument je, da tekma sama po sebi ustvarja nevarno dinamiko. Če noben akter ne želi zaostati, lahko varnost postane drugotnega pomena. V takem okolju obljube o prostovoljnih varnostnih zavezah po njegovem mnenju niso dovolj.
## Zakaj usklajevanje morda ne zadošča
Današnji pristopi k varnosti UI večinoma temeljijo na usklajevanju oziroma »alignmentu«: razvijalci poskušajo modele naučiti, da sledijo človeškim navodilom, zavračajo škodljive zahteve in delujejo skladno z določenimi pravili.
Leahy dvomi, da bi to zadostovalo pri sistemu, ki je bistveno inteligentnejši od svojih nadzornikov. Problem ni le v tem, da bi model naredil napako. Skrb je, da bi zelo sposoben sistem lahko našel nepredvidene poti do cilja, prikril svoje dejanske sposobnosti ali izkoristil vrzeli v nadzornih mehanizmih.
V predstavitvi podkasta je omenjen tudi varnostni incident, povezan z OpenAI in Hugging Face. Razpoložljivi opis ne navaja tehničnih podrobnosti dogodka, zato ga ni mogoče neposredno razlagati kot dokaz nevarnosti superinteligence. Je pa širše sporočilo pomembno: že ob današnjih sistemih lahko varnostne pomanjkljivosti, nepooblaščen dostop, kraja podatkov ali zloraba modelov povzročijo resne posledice. Z večjo sposobnostjo in večjo avtonomijo sistemov bi se lahko povečal tudi obseg škode.
## Prepoved ali stroga mednarodna pravila?
ControlAI zato podpira zakonodajne omejitve razvoja superinteligence. Leahy v pogovoru obravnava ameriški predlog Sanders-Casar »Ban Superintelligence Act« in sorodne razprave v Združenem kraljestvu, kjer je ControlAI sodeloval kot svetovalec. Obenem ocenjuje, da bi lahko ameriški predlog na nekaterih področjih segel dlje, kot bi bilo nujno.
To kaže, da razprava ni preprosto razdeljena med popolno prepoved in popolno deregulacijo. Možne so tudi vmesne poti: licenciranje velikih računalniških zmogljivosti, obvezna varnostna testiranja, neodvisni nadzori, omejitve avtonomnega delovanja modelov ter poročanje o nevarnih sposobnostih.
Leahy zagovarja tudi mednarodne dogovore po načelu »zaupaj, a preverjaj«. Tak pristop bi pomenil, da države ne bi zgolj obljubile omejevanja najnevarnejšega razvoja, temveč bi vzpostavile tudi preverljive mehanizme nadzora. Brez tega bi lahko strah pred tehnološkim zaostankom spodkopal vsak poskus usklajenega ukrepanja.
Glavno vprašanje zato ni, ali bo umetna inteligenca postajala zmogljivejša – to se že dogaja. Vprašanje je, ali bodo družba, regulatorji in podjetja dovolj zgodaj določili meje, preden bo tehnološka tekma začela narekovati pravila sama.
