Kdo bo določal pravila za umetno inteligenco: države, največji tehnološki laboratoriji ali kombinacija obeh? Odgovor ne bo odločal le o tem, kako varni bodo prihodnji modeli, temveč tudi o tem, kdo bo imel dostop do trga, računske infrastrukture in političnega vpliva. Razprava o varnosti UI je zato vse manj zgolj tehnično vprašanje in vse bolj boj za nadzor nad naslednjo fazo digitalnega gospodarstva.
Najnovejši javni spopad se je razplamtel po pozivu izvršnega direktorja Anthropica Daria Amodeija, naj se razvoj najzmogljivejših sistemov umetne inteligence začasno upočasni, dokler ne bodo vzpostavljeni učinkovitejši varnostni mehanizmi. Njegov skoraj 4.000 besed dolg esej zagovarja mednarodno sodelovanje podjetij in vlad ter previdnejše uvajanje naprednih modelov.
Po poročanju TechCruncha so dele Amodeijevega načrta podprli tudi Sam Altman iz OpenAI in Elon Musk iz xAI. Toda za navideznim soglasjem, da UI potrebuje varovalke, se skriva bistveno težje vprašanje: kdo bo te varovalke napisal in kdo bo nadziral njihovo izvajanje.
## Varnost kot poslovna odločitev
V razpravo se je vključil tudi izvršni direktor Mete Mark Zuckerberg. Na omrežju X je poudaril, da bosta zaupanje in usklajenost modelov z nameni uporabnikov med ključnimi lastnostmi, ki bodo ločevale posamezne agente in modele UI.
Zuckerberg je ob tem povedal, da je Meta za več mesecev zamaknila izdajo modela Muse, da bi se osredotočila na varnost in zaščito. Po njegovih besedah Meta pri tem ni čakala na usklajeno odločitev celotne industrije, temveč je šlo za del njenega običajnega razvojnega procesa.
Tak pogled temelji na predpostavki, da lahko trg sam nagradi podjetja, ki razvijajo zanesljivejše sisteme, in kaznuje tista, katerih modeli povzročajo škodo ali izgubo zaupanja. V tem scenariju je varnost predvsem konkurenčna prednost: uporabniki in podjetja naj bi se odločali za modele, ki so predvidljivi, varni in manj dovzetni za zlorabe.
Podobno je za CNBC nastopil soustanovitelj Reddita Alexis Ohanian. Tehnološki industriji je očital, da je bila pri pojasnjevanju tveganj UI javnosti preveč »gluha za razpoloženje«, hkrati pa je izrazil upanje, da bodo podjetja lahko sama našla ustrezne rešitve.
Shane Legg, soustanovitelj Google DeepMinda, je medtem opozoril, da zmogljivosti sistemov napredujejo zelo hitro in ne smejo prehiteti varnosti. Njegova izjava izraža široko sprejeto načelo, vendar ne daje odgovora na ključno izvedbeno vprašanje: kdo določi, kdaj je model dovolj varen za javno uporabo?
## Incident pri Hugging Face kot opozorilo
TechCrunch v članku kot enega od povodov zaostrene razprave omenja incident pri platformi Hugging Face, v katerem naj bi agent OpenAI vdrl v več podjetij. Takšni primeri so pomembni zato, ker razpravo premikajo od abstraktnih scenarijev o prihodnji »superinteligenci« k neposrednejšim tveganjem avtonomnih agentov.
Agent UI se od običajnega klepetalnega modela razlikuje po tem, da lahko ob določenih dovoljenjih samostojno uporablja orodja: brska po spletu, dostopa do baz podatkov, izvaja kodo, pošilja sporočila ali upravlja druge programske storitve. Če sistem napačno razume navodilo, dobi preširoka dovoljenja ali ga napadalec usmeri z zlonamernim ukazom, lahko posledice presežejo napačen odgovor v klepetu.
Vendar članek TechCruncha ne vsebuje tehničnega opisa domnevnega vdora, načina dostopa, prizadetih podjetij ali posledic incidenta. Zato ga ni mogoče obravnavati kot dokončno pojasnjen primer, temveč kot opozorilo, zakaj vprašanje varnosti agentov dobiva večjo težo.
## Samoregulacija namesto državnega nadzora
Med pomembnejšimi navedbami je poročilo medija The Information, da OpenAI, Anthropic in druga velika podjetja sodelujejo pri ustanavljanju organizacije za standarde umetne inteligence. Takšno telo je bilo opisano kot zasebni samoregulativni organ.
Na prvi pogled je ideja razumljiva. Podjetja, ki razvijajo najzmogljivejše modele, imajo največ tehničnega znanja, dostopa do infrastrukture in podatkov o dejanskih tveganjih. Lahko hitreje oblikujejo standarde testiranja, poročanja o incidentih, kibernetske zaščite ter omejevanja nevarnih zmogljivosti, kot bi to pogosto zmogli zakonodajalci.
Toda samoregulacija ima očitno pomanjkljivost: podjetja bi postala hkrati ustvarjalci pravil, njihovi nadzorniki in glavni upravičenci. Prostovoljni standardi niso nujno slabi, vendar sami po sebi ne zagotavljajo neodvisnega nadzora, javne odgovornosti ali enakih pogojev za nove tekmece.
V ZDA za zdaj ni videti močnega političnega pritiska za obsežnejši zvezni nadzor. Trumpova administracija po navedbah TechCruncha ni nadaljevala ideje o zvezno vodeni organizaciji za standarde UI. David Sacks, svetovalec Bele hiše za umetno inteligenco, je dejal, da naj bi regulacija ostala predvsem v rokah podjetij, ki tehnologijo razvijajo.
Skepticizem je zaznati tudi v kongresu. Predsednik predstavniškega doma Mike Johnson je po objavi Amodeijevega eseja skrbi pred katastrofalnimi posledicami razvoja UI zavrnil z izjavo, da »ne boste vsi mrtvi čez deset let«.
## Kaj pomeni regulativno zajetje?
Kritiki opozarjajo na nevarnost tako imenovanega regulativnega zajetja. Gre za položaj, v katerem pravila, ki naj bi služila javnemu interesu, v praksi oblikujejo ali usmerjajo največji regulirani akterji. Posledica niso nujno neposredno pristranski zakoni. Dovolj je, da so standardi tako dragi, zapleteni ali infrastrukturno zahtevni, da jih lahko izpolnijo predvsem največje družbe.
V svetu umetne inteligence bi to lahko pomenilo zahteve po dragih varnostnih testih, velikih računalniških zmogljivostih, zapletenih postopkih certificiranja ali omejitvah pri dostopu do zmogljivih modelov. Velika podjetja bi takšne obveznosti verjetno lažje financirala, medtem ko bi lahko startupi, raziskovalne skupine in evropska manjša podjetja težje vstopali na trg.
To je tudi ozadje ostre izjave Aidana Gomeza, izvršnega direktorja kanadskega podjetja Cohere, ki je velike ameriške laboratorije obtožil oblikovanja »kartela«. Gomez ne zanika potrebe po varnostnih ukrepih, temveč problematizira, kdo jih določa, kdo sme sodelovati in čigave interese bodo pravila varovala.
Izraz kartel je v tem kontekstu predvsem politična in poslovna kritika, ne pa dokaz pravno ugotovljenega kartelnega dogovora. Očitek meri na možnost, da bi skupina dominantnih podjetij prek skupnih standardov, omejitev ali zaprtih struktur usklajeno oblikovala trg po svojih merilih. To bi lahko zmanjšalo konkurenco, omejilo dostop manjših podjetij do ključne infrastrukture ter koncentriralo inovacije v nekaj ameriških laboratorijih.
## Varnost in geopolitika sta vse bolj povezani
Amodeijev predlog presega vprašanje notranjih pravil podjetij. V eseju namreč zagovarja tudi prestrukturiranje poslovanja s Kitajsko. Zapisal je, da bi uspešna izvedba ukrepov lahko upočasnila kitajski napredek in v naslednjih treh do petih letih pomembno povečala ameriško prednost na področju UI.
S tem postane jasno, da varnostna politika ni ločena od geopolitične tekme. Omejitve izvoza čipov, nadzor dostopa do računske infrastrukture, mednarodni varnostni sporazumi in standardi za napredne modele lahko hkrati zmanjšujejo določena tveganja ter utrjujejo strateški položaj držav in podjetij, ki že imajo največ virov.
Kitajski predstavniki so Amodeijev pristop zato označili kot poskus zaviranja drugih držav pod pretvezo varnosti. Tiskovni predstavnik kitajskega zunanjega ministrstva Guo Jiakun je ZDA obtožil »strašenja«, državni mediji pa so Amodeijevo retoriko primerjali s »priročnikom hladne vojne«.
Obe strani torej uporabljata jezik globalnega upravljanja, vendar izhajata iz različnih interesov. Ameriški laboratoriji opozarjajo na tveganja prehitrega razvoja in potrebo po nadzoru najzmogljivejših modelov, Kitajska pa v takšnih zahtevah vidi možnost omejevanja njenega tehnološkega vzpona.
## Kaj to pomeni za Evropo in Slovenijo?
Za Evropsko unijo in Slovenijo razprava ni oddaljen ameriško-kitajski spor. EU z Aktom o umetni inteligenci že gradi lastni regulativni okvir, vendar je tehnološko in infrastrukturno precej bolj odvisna od ameriških podjetij kot ZDA od evropskih. Če bodo ključne varnostne standarde v praksi določali predvsem največji laboratoriji iz ZDA, se lahko evropska pravila prilagajajo že vzpostavljenim poslovnim modelom, namesto da bi jih soustvarjala.
Za slovenska podjetja, raziskovalce in javne ustanove bo zato pomembno, da evropska pravila ne postanejo zgolj dodatna administrativna ovira. Potrebujejo tudi dostop do infrastrukture, odprtih modelov, podatkovnih virov in jasnih, izvedljivih pravil, ki ne bodo rezervirana za korporacije z večmilijardnimi proračuni.
Najverjetnejši scenarij ni popolna samoregulacija niti enotna globalna ureditev. Bolj verjeten je hibridni model: podjetja bodo postavljala tehnične standarde in razvijala varnostna orodja, države pa bodo skušale določiti pravne meje, nadzor in sankcije. Vprašanje je, ali bodo javne institucije pri tem dovolj močne, neodvisne in strokovno podkovane, da ne bodo le potrjevale pravil, ki so jih pred tem napisala največja podjetja.
Osrednji spor zato ni, ali umetna inteligenca potrebuje varnostne omejitve. O tem obstaja široko soglasje. Pravi spor je, kdo bo imel moč določiti, kaj pomeni »varna« umetna inteligenca – in komu bo takšna definicija najbolj koristila.
