# AI-agenti potrebujejo svoj SOC 2: AIUC želi postati neodvisni presojevalec njihove varnosti
Ko agent umetne inteligence dobi dostop do internih dokumentov, poslovnih sistemov, podatkov o strankah ali možnosti izvajanja dejanj v imenu uporabnika, vprašanje ni več le, kako zmogljiv je. Ključno postane, ali je dovolj predvidljiv, varen in nadzorljiv za uporabo v okolju, kjer lahko napaka pomeni uhajanje podatkov, napačno odločitev ali kršitev pravil.
Prav na tej točki želi graditi zagonsko podjetje **Artificial Intelligence Underwriting Company (AIUC)**. Podjetje razvija neodvisno testiranje in certificiranje AI-agentov, po vzoru standardov kibernetske varnosti, kot je SOC 2. AIUC je ob tem sporočil, da je v krogu serije A zbral 40 milijonov dolarjev, ki ga je vodil Ribbit Capital, sodeloval pa je tudi First Harmonic.
AIUC sta ustanovila Rune Kvist, eden zgodnjih zaposlenih pri Anthropicu, in Rajiv Dattani, nekdanji operativni direktor raziskovalne organizacije za varnost umetne inteligence METR. Po navedbah podjetja so med njegovimi strankami Cursor, Lovable, Harvey in ElevenLabs – podjetja, ki razvijajo orodja za programiranje, ustvarjanje aplikacij, pravne delovne procese ter generiranje sintetičnega govora.
To kaže, da varnost agentov ni več zgolj vprašanje za raziskovalne laboratorije. Postaja poslovna zahteva za podjetja, ki želijo modele vključiti v procese z resničnimi uporabniki, občutljivimi podatki in neposrednimi finančnimi ali pravnimi posledicami.
## Od vprašanja zmogljivosti do vprašanja zaupanja
Kvist meni, da velika podjetja in javne institucije AI-agentov pogosto ne zavračajo zato, ker ti ne bi bili dovolj zmogljivi. Težava je v tem, da ne morejo dovolj zanesljivo dokazati, kaj bo sistem naredil v določenih okoliščinah – in česa ne bo.
To je posebej pomembno pri agentih, ki niso omejeni na odgovarjanje na vprašanja, temveč lahko iščejo po dokumentih, kličejo programske vmesnike, pripravljajo pogodbe, komunicirajo s strankami ali izvajajo transakcije. Halucinacija v običajnem klepetalniku je lahko neprijetna. Halucinacija agenta v bolnišnici, banki ali pravni službi pa lahko pomeni napačno obravnavo podatkov, neustrezen nasvet ali sprejetje napačne poslovne odločitve.
Podobno velja za uhajanje podatkov. Agent, ki ima dostop do notranjih informacij, lahko zaradi slabo nastavljenih dovoljenj, zlonamernega poziva ali napake v integraciji razkrije vsebine, ki jih uporabnik ne bi smel videti. Pri generativnih modelih se dodatno odpirajo vprašanja pristranskosti, sledljivosti odločitev in odpornosti na poskuse obhoda varnostnih omejitev.
V tem smislu AIUC ne prodaja zgolj dodatnega sloja testiranja. Prodaja zaupanje, ki je potrebno, da organizacije agente sploh spustijo v produkcijska okolja.
## Standard AIUC-1 in 5000 testov
Podjetje je razvilo standard **AIUC-1**, ki se konceptualno zgleduje po standardu SOC 2. Medtem ko SOC 2 preverja postopke in kontrole pri ravnanju s podatki v tehnoloških podjetjih, AIUC-1 cilja na posebna tveganja generativne umetne inteligence in avtonomnejših agentov.
AIUC navaja, da posameznega agenta preveri s približno 5000 testi. Ti vključujejo scenarije obhoda varnostnih omejitev oziroma jailbreakov, halucinacij in morebitnega razkrivanja podatkov. Končni rezultat je približno 100-stransko poročilo, ki naj bi prikazalo, na katerih področjih agent deluje varno in zanesljivo ter kje so njegove omejitve.
Podjetje pri testiranju uporablja tudi AI-agente in avtomatizirano analizo, vendar naj bi končno presojo preverili ljudje. To je pomembna razlika: avtomatizacija lahko močno razširi obseg preverjanja, toda odgovornost za končno oceno ostaja pri človeških presojevalcih.
Pri oblikovanju standarda je AIUC po lastnih navedbah sodeloval s konzorcijem približno 250 vodij s področij varnosti in upravljanja tveganj. Njihova vprašanja naj bi postala podlaga za teste, ki jih bodo uporabljali potencialni kupci agentov.
## Trg se premika od pravil k dokazovanju
Dattani je bil operativni direktor METR med letoma 2024 in 2025 in ostaja član njenega upravnega odbora. Datumi so glede na datum izvornega članka – september 2026 – skladni: gre za njegovo preteklo funkcijo. METR je znan po neodvisnih evalvacijah naprednih modelov, zlasti pri preverjanju, ali lahko agenti zanesljivo opravijo določene naloge.
AIUC se umešča v širši premik industrije. Na eni strani nastajajo regulativni okviri, kot je evropski Akt o umetni inteligenci, ki za določene sisteme uvaja obveznosti glede upravljanja tveganj, dokumentacije in nadzora. Na drugi strani laboratoriji, podjetja in neodvisne organizacije razvijajo lastne metode evalvacije modelov.
AIUC skuša zapolniti prostor med njima: ponuditi praktično, tretjeosebno presojo za organizacije, ki ne želijo same graditi obsežnih ekip za varnostno testiranje AI.
Toda pred podjetjem je tudi zahteven izziv. AI-agenti se razvijajo hitreje kot večina tradicionalnih standardov. Test, ki je ustrezen za današnji sistem, morda ne bo zajel tveganj modela, ki bo jutri dobil boljši spomin, dostop do novih orodij ali večjo stopnjo avtonomije. Standard AIUC-1 bo zato moral ostati živ dokument, ki se posodablja z novimi zlorabami, tehničnimi zmogljivostmi in regulativnimi pričakovanji.
## Certificiranje kot pogoj za širše uvajanje
AIUC morda ne bo edini igralec na nastajajočem trgu varnostnih pregledov AI, saj podobne potrebe nagovarjajo raziskovalne organizacije, varnostna podjetja, ponudniki upravljanja AI-tveganj in regulatorji. Njegova prednost bi lahko bila v jasnem poslovnem modelu: kupcem ponuditi razumljivo neodvisno poročilo pred uvedbo agenta.
Če se bo tak pristop uveljavil, bi lahko certificiranje AI-agentov postalo podobno običajno kot varnostne presoje programske opreme, penetracijski testi ali standardi skladnosti pri ponudnikih storitev v oblaku.
Za podjetja to ne bo pomenilo, da je certificiran agent brez tveganja. Pomenilo pa bo, da so njegove omejitve bolj vidne, merljive in primerljive. Prav transparentnost o tem, česa agent ne zna ali ne sme početi, bi lahko postala eden ključnih pogojev za odgovorno in širše uvajanje umetne inteligence.
