# Google DeepMind odpira razpravo o AGI – in hkrati postavlja temelje za njena pravila
Razvoj najzmogljivejših modelov umetne inteligence se odvija hitreje, kot nastajajo pravila za njihov nadzor. Google DeepMind želi s pravkar ustanovljenim DeepMind Institutom razpravo o umetni splošni inteligenci (AGI) premakniti od načelnih opozoril k bolj oprijemljivim vprašanjem: kako ohraniti nadzor nad modeli, katerih notranje sklepanje postaja vse teže razumljivo, kdo naj jih preverja in ali bi bilo treba njihov razvoj v določenih okoliščinah upočasniti.
Pobuda je pomembna tudi zato, ker ne prihaja od zunanjega regulatorja ali neodvisne akademske ustanove, temveč od enega ključnih akterjev v tekmi za najnaprednejšo umetno inteligenco. DeepMind Institute je zato lahko prostor za vsebinsko razpravo o varnosti, obenem pa tudi poskus Googla, da vpliva na to, kako bodo oblikovana prihodnja pravila za razvoj in uvajanje AGI.
Google in Google DeepMind sta inštitut predstavila 17. septembra 2026. Njegovi direktorji so soustanovitelj DeepMinda Shane Legg, Googlov izvršni direktor James Manyika in predsednik Google DeepMinda Demis Hassabis. Legg bo hkrati opravljal vlogo odgovornega urednika.
Po navedbah ustanoviteljev želi inštitut predstaviti različne poglede znotraj Googla, DeepMinda in širše raziskovalne skupnosti. Ob tem priznavajo, da se stališča sodelujočih ne bodo vedno ujemala ter da se lahko z novimi podatki in spoznanji tudi spreminjajo.
## Od abstraktne skrbi h konkretnim pravilom
Prva zbirka štirih esejev nakazuje, v katero smer želi inštitut usmeriti razpravo. Obravnava gospodarske politike ob morebitnih posledicah AGI, človeku razumljivo sklepanje modelov, načela človekove blaginje in okvir za vrednotenje najnaprednejših sistemov umetne inteligence.
Posebej izstopa esej DeepMindovih raziskovalcev varnosti Rohina Shaha in Ance Dragan o preglednosti modelov. Njuna izhodiščna teza je, da zmanjševanje možnosti za vpogled v delovanje umetne inteligence ni neizogibno.
Pri naprednih modelih je problem preprost za opis, a zelo zahteven za reševanje: model lahko poda odgovor, ne da bi bilo jasno, kako je do njega prišel. Bralec si to lahko predstavlja kot izjemno zmogljiv kalkulator, ki pokaže rezultat, vendar skrije vmesne korake. Pri vsakdanjih opravilih to morda ni bistveno. Pri sistemih, ki pomagajo pri znanstvenih odločitvah, kibernetski varnosti, financah ali infrastrukturi, pa je težko preveriti, ali je model do pravilnega odgovora prišel na zanesljiv in varen način.
Avtorja zato predlagata omejevanje tako imenovane »neprosojne zaporedne globine«. Izraz opisuje količino notranjega, zaporednega računanja, ki ga model lahko opravi, ne da bi pri tem ustvaril človeku razumljivo sled sklepanja. Bolj kot je takšno sklepanje skrito in dolgo, težje je neodvisno preveriti, kaj model počne in ali so njegova dejanja varna.
To ne pomeni nujno, da bi morali vsi modeli razkrivati vsak tehnični korak svojega delovanja. Pomeni pa, da bi morali razvijalci dokazovati, da lahko tudi manj pregledne sisteme dovolj učinkovito spremljajo, preskušajo in omejujejo. Ključno vprašanje je, ali je mogoče varnost modela zanesljivo dokazovati zgolj z njegovimi izhodi ali pa je pri najbolj zmogljivih sistemih potreben tudi vpogled v proces odločanja.
## Predlog za 30-dnevni pregled pred objavo modela
Demis Hassabis v ločenem eseju predlaga ustanovitev standardizacijskega telesa za vrednotenje najnaprednejših modelov umetne inteligence pod vodstvom ZDA. V začetni fazi bi razvijalci svoje modele prostovoljno poslali v pregled do 30 dni pred objavo. Če bi se sistem izkazal za učinkovitega, bi lahko uspešno prestan test pozneje postal pogoj za uvajanje najzmogljivejših modelov v Združenih državah.
Predlog predvideva postopni razvoj. Sprva bi ocenjevanja nastajala v sodelovanju s podjetji za umetno inteligenco, nato pa bi telo razvilo lastne, nerazkrite preizkuse. Takšni »zadržani« testi bi bili pomembni zato, ker podjetja ne bi mogla modelov prilagajati zgolj javno znanim merilom.
Ideja bi lahko koristila širši javnosti in uporabnikom, saj bi pred objavo najbolj zmogljivih sistemov obstajal formalnejši varnostni pregled. Podjetjem bi jasna merila lahko zmanjšala negotovost glede prihodnje regulacije. Hkrati pa bi se odprla zahtevna vprašanja.
Tridesetdnevni pregled bi za največje laboratorije verjetno pomenil predvsem dodaten organizacijski korak. Za manjša podjetja in raziskovalne ekipe pa bi lahko pomenil precej večje breme: zamik pri objavi, stroške priprave dokumentacije in potrebo po dostopu do regulatornih ali neodvisnih ocenjevalcev. Če bi bili standardi predragi ali prezapleteni, bi lahko nehote utrdili položaj največjih podjetij, ki imajo za skladnost že zdaj bistveno več virov.
Pomembno bi bilo tudi, kdo bi določal prag, pri katerem model postane »frontier« oziroma dovolj napreden za obvezno presojo. Preozek prag bi lahko spregledal pomembna tveganja, preširok pa bi lahko zajel preveč razvijalcev in zavrl koristne inovacije.
## Razprava, ki je ne more voditi samo industrija
Hassabis je omenil, da bi bilo mogoče okvir zaostriti, če bi resnost razmer to zahtevala, tudi z usklajeno upočasnitvijo razvoja med vodilnimi razvijalci. Takšna zamisel kaže, da se razprava o varnosti pomika od splošnih zavez k potencialno zelo konkretnim posegom v tempo razvoja.
Toda prav tu se pojavi tudi nujna kritična distanca. Google DeepMind je eden vodilnih razvijalcev napredne umetne inteligence, zato ima legitimen interes, da sodeluje pri oblikovanju standardov. Toda podjetja, ki postavljajo varnostna merila, hkrati tekmujejo za tehnološko in tržno prednost. Neodvisnost ocenjevanja, jasna javna pravila in zastopanost akademikov, civilne družbe ter regulatorjev bodo zato odločilni za verodostojnost takšnih pobud.
DeepMind Institute sam po sebi ne rešuje vprašanja nadzora nad AGI. Lahko pa prispeva k temu, da bodo razprave o preglednosti, testiranju in odgovornosti manj abstraktne. Pravi preizkus pa bo sledil, ko bodo predlogi prešli iz esejev v standarde, ki bodo veljali tudi za največje in najvplivnejše razvijalce umetne inteligence.
