# Astra: OpenAI napoveduje model za delo z računalniki, a odpira vprašanje nadzora nad umetno inteligenco
*OpenAI Astro oziroma Astra predstavlja kot svoj najzmogljivejši model doslej. Obljublja naprednejše programiranje, delo v brskalniku in kibernetsko varnost, vendar je v ospredju predstavitve tudi manj udobno vprašanje: kako nadzorovati model, katerega notranjega sklepanja ne moremo več zanesljivo spremljati?*
> **Opomba uredništva:** Spodnja analiza temelji na posredovanem članku TechCrunch. Ta ne vsebuje tehnične dokumentacije, neodvisnih preizkusov ali natančnega opisa arhitekture modela, zato je treba ključne trditve OpenAI razumeti kot navedbe podjetja.
OpenAI je predstavil Astro, v izvirnem članku poimenovano **Astra**, kot nov napredni model umetne inteligence za uporabo računalnika in spletnega brskalnika. Podjetje ga ne predstavlja zgolj kot naslednjo generacijo pogovornega modela, temveč kot sistem, ki naj bi zmogel samostojneje opravljati večkorakovne naloge: razumeti programsko kodo, uporabljati terminal, iskati ranljivosti in izvajati opravila v digitalnem okolju.
V širšem ekosistemu AI to Astro postavlja v hitro rastočo kategorijo tako imenovanih **agentskih modelov**. To so modeli, ki ne ustvarjajo le odgovorov ali besedil, temveč lahko ob ustreznih dovoljenjih uporabljajo orodja, odpirajo spletne strani, delajo z datotekami, izvajajo ukaze in zaključujejo določene delovne procese. V tem smislu bi bil Astra bližje digitalnemu sodelavcu kot klasičnemu klepetalniku.
Vendar iz dostopnega opisa ni mogoče zanesljivo sklepati, ali gre za povsem novo arhitekturo, nadgradnjo obstoječe družine modelov ali za produktno platformo, zgrajeno okoli več modelov in orodij. Prav ta razlika je pomembna: izraz »nov model« lahko v praksi pomeni zelo različne stvari — od večjega jezikovnega modela do sistema, ki povezuje model, brskalnik, agentni nadzor in varnostne mehanizme.
## Obljube: programiranje, terminal in kibernetska varnost
OpenAI Astro opisuje kot svoj najboljši model za programsko inženirstvo. Po navedbah podjetja naj bi se dobro odrezal pri iskanju napak v kodi, odgovarjanju na vprašanja o večjih programskih zbirkah in izvajanju nalog v terminalu.
Takšne zmogljivosti bi lahko imele neposreden vpliv na razvojne ekipe. Programerji bi lahko model uporabili za hitrejše razumevanje stare kode, pripravo testov, iskanje regresij, dokumentiranje sistemov in odpravljanje rutinskih napak. Za manjša podjetja bi to lahko pomenilo, da z omejenimi ekipami hitreje razvijejo prototipe ali vzdržujejo obstoječe digitalne storitve.
Toda učinek ne bo nujno zgolj pozitiven. Če modeli postanejo dovolj sposobni za samostojno izvajanje terminalskih ukazov ali spreminjanje kode, bodo podjetja potrebovala strožja pravila za dostop, pregled sprememb in ločevanje razvojnih, testnih ter produkcijskih okolij. Model, ki lahko odpravi napako, lahko namreč ob napačnih navodilih ali nepopolnem razumevanju sistema povzroči tudi motnjo, izbriše podatke ali odpre novo varnostno luknjo.
OpenAI posebej izpostavlja kibernetsko varnost in trdi, da lahko Astra pomaga pri odkrivanju ter razvoju zero-day izkoriščanj — doslej neznanih ranljivosti v programski opremi. Podjetje to predstavlja kot prednost za branilce, ki bi tako lahko hitreje našli in zakrpali šibke točke.
To je eden najbolj občutljivih vidikov napredne AI. Znanje, ki varnostnim ekipam pomaga odkriti ranljivost, lahko v napačnih rokah pomaga tudi pri njeni zlorabi. Zato pri takšnih modelih ni dovolj vprašanje, ali so sposobni določene naloge opraviti, temveč predvsem, **kdo ima dostop, pod kakšnimi pogoji in s kakšnim nadzorom**.
Za slovenska podjetja, zlasti banke, zdravstvene ustanove, javno upravo, industrijska podjetja in ponudnike digitalnih storitev, bi naprednejši AI-varnostni pomočniki lahko pomenili hitrejše odzivanje na incidente. Hkrati pa bi morali takšne sisteme uvajati previdno: z omejenimi pravicami, beleženjem aktivnosti, človeško potrditvijo kritičnih dejanj in jasnimi postopki odgovornosti.
## Neprosojno sklepanje: ko modela ni več mogoče dobro razložiti
Najpomembnejša dilema pri Astri ni nujno njena zmogljivost, temveč način sklepanja, ki ga članek opisuje z izrazom **»opaque recurrence«** oziroma neprosojno ponavljanje.
Poenostavljeno povedano: pri nekaterih modelih lahko raziskovalci vsaj deloma spremljajo besedilne korake, s katerimi model pride do odgovora. Temu pogosto rečemo veriga misli oziroma *chain of thought*. Takšen vpogled ni popoln dokaz, da model res razmišlja na opisan način, vendar lahko raziskovalcem pomaga prepoznati napačne predpostavke, nevarne vzorce ali znake zlorabe.
Če model vedno več notranjega dela opravi brez razumljivih jezikovnih korakov, postane takšen nadzor precej težji. Rezultat je lahko pravilen, vendar ne vemo dovolj dobro, kako je sistem do njega prišel.
To odpira več težav:
– **Težje odkrivanje napak:** Če model poda napačno odločitev, je težje ugotoviti, ali je šlo za slabe podatke, napačno sklepanje, neustrezno uporabo orodja ali nepričakovano vedenje sistema.
– **Manj zaupanja v občutljivih okoljih:** V zdravstvu, financah, javni upravi, sodstvu in kibernetski varnosti pogosto ni dovolj, da sistem poda dober rezultat. Potrebno je tudi pojasnilo, zakaj je bil rezultat sprejet.
– **Težji regulatorni nadzor:** Evropska pravila, vključno z Aktom EU o umetni inteligenci, poudarjajo upravljanje tveganj, dokumentiranje, sledljivost in človeški nadzor. Povsem neprosojni modeli lahko otežijo dokazovanje, da je sistem uporabljen odgovorno.
– **Večja nevarnost prikritega neželenega vedenja:** Če ni mogoče dobro spremljati procesa, je težje odkriti, ali model poskuša zaobiti omejitve, napačno razume navodila ali sledi ciljem, ki niso skladni z interesi uporabnika.
Glavni znanstvenik OpenAI Jakub Pachocki je po navedbah TechCruncha dejal, da spremljanje modelov postaja zahtevnejše, ker zmogljivejši modeli zahtevnejše naloge opravijo z manj jezikovnimi žetoni ali celo brez njih. To je tehnično razumljivo, vendar ne odpravlja temeljnega problema: če se sposobnost modela povečuje hitreje kot naša sposobnost nadzora, raste tudi tveganje.
Za uporabnike to pomeni, da modelov, kot je Astra, ne bi smeli presojati le po benchmarkih in hitrosti. Enako pomembna so vprašanja, ali obstajajo kakovostne varnostne omejitve, neodvisni preizkusi, revizijske sledi, nadzor dostopov in možnost človeškega posredovanja.
## Brockmanova izjava o AGI: prepričanje, marketing ali sprememba meril?
Predsednik OpenAI Greg Brockman je na predstavitvi dejal, da po njegovem osebnem mnenju »smo že tam«, ko gre za AGI oziroma umetno splošno inteligenco.
To je pomembna izjava, ker izraz AGI običajno označuje AI, ki lahko na širokem naboru intelektualnih nalog dosega ali presega človeka, se prilagaja novim problemom ter znanje prenaša med različnimi področji. Težava je, da enotne, splošno sprejete definicije AGI ni.
Nekateri kot AGI razumejo sistem, ki je sposoben opravljati večino ekonomsko koristnega dela na ravni človeka. Drugi zahtevajo zanesljivo avtonomijo, robustno razumevanje sveta, dolgoročno načrtovanje ali sposobnost samostojnega učenja. Po strožjih merilih bi bilo prezgodaj trditi, da je AGI že dosežen, saj današnji modeli kljub izjemnim sposobnostim še vedno delajo napake, so občutljivi na navodila in nimajo človeškega razumevanja sveta.
Brockman je ob tem poudaril, da AGI ni več pogodbeni koncept v odnosu med OpenAI in Microsoftom, temveč »poslanstveni ali duhovni koncept«. Tak premik je pomenljiv. Če AGI ni več vezan na natančno določeno pogodbeno merilo, lahko postane predvsem retorična oznaka — način, kako podjetje opiše ambicioznost svojih modelov in svojo vizijo prihodnosti.
A prav zato je potrebna previdnost. Razglasitev prihoda AGI lahko vpliva na naložbe, zakonodajo, javno dojemanje tveganj in pričakovanja zaposlenih v številnih poklicih. Če pa izraz nima jasnih meril, je težko presoditi, ali gre za resničen tehnološki prelom ali za komunikacijsko strategijo ob lansiranju novega izdelka.
## Zmogljivost brez nadzora ni dovolj
Astra nakazuje smer, v katero se premika razvoj umetne inteligence: od sistemov, ki odgovarjajo na vprašanja, k sistemom, ki lahko dejansko izvajajo delo v digitalnem okolju. To prinaša pomembne priložnosti za razvijalce, varnostne analitike, podjetja in javne institucije.
Toda najbolj napredni modeli bodo koristni le, če bo njihova uporaba spremljana z enako naprednimi mehanizmi nadzora. Pri Astri zato ni ključno samo vprašanje, koliko nalog lahko opravi, temveč tudi, ali lahko uporabniki, podjetja in regulatorji dovolj dobro razumejo, omejujejo in preverjajo njeno delovanje.
