# Anthropic stavi milijardo na zunanji nadzor UI – in za prvega ocenjevalca izbira Accenture
Anthropic želi varnost svojih modelov umetne inteligence preverjati neposredno od znotraj – vendar z zunanjimi ljudmi. Podjetje je napovedalo, da bodo zaposleni iz družbe Faculty, AI-enote svetovalnega velikana Accenture, začeli delati v Anthropicu kot neodvisni ocenjevalci modelov. Partnerja naj bi v projekt v petih letih vložila najmanj milijardo dolarjev.
Poteza je pomembna, ker kaže na nastajanje novega modela nadzora v industriji umetne inteligence: ne zgolj občasno testiranje pred objavo modela, temveč stalnejše vključevanje zunanjih preverjevalcev v samo delo AI-laboratorijev. V času, ko modeli dobivajo več samostojnosti in zmožnosti izvajanja nalog, postajata preverljivost njihovih omejitev in odgovornost razvijalcev vse pomembnejši vprašanji.
## Accenture namesto varnostnega laboratorija
Izbira Accentureja je presenetila del opazovalcev, saj se je razprava o tako imenovanih vgrajenih ocenjevalcih doslej vrtela predvsem okoli specializiranih organizacij za varnost umetne inteligence. Med njimi TechCrunch omenja METR, Redwood Research in Apollo Research.
Te organizacije se praviloma osredotočajo na raziskovanje sposobnosti modelov, testiranje tveganj, ugotavljanje možnosti zlorab in presojo, ali sistemi ravnajo skladno z zastavljenimi varnostnimi cilji. Accenture pa je predvsem globalno svetovalno podjetje, znano po uvajanju tehnologij v velika podjetja in javne ustanove.
Prav v tem Anthropic vidi prednost. Faculty naj bi opravljal red-teaming modelov, presoje usklajenosti ter teste zaščitnih mehanizmov, vendar naj bi k temu pristopal tudi z izkušnjami iz dejanske uporabe sistemov v velikih organizacijah. Takšen pogled je lahko posebej koristen pri vprašanjih, ki se pojavijo šele ob uvajanju AI v poslovne procese: kdo lahko uporablja model, do katerih podatkov dostopa, katere odločitve sme sprejemati samostojno in kako se zazna nevarno ravnanje.
## Praktične izkušnje niso isto kot temeljne raziskave
Toda izbira odpira tudi legitimno vprašanje: ali lahko veliko svetovalno podjetje ponudi enako raven specializiranega varnostnega raziskovanja kot organizacije, ki se osredotočajo izključno na ocenjevanje naprednih modelov?
Accenture sicer prinaša obseg, izkušnje z upravljanjem tveganj in poznavanje korporativnega ter javnega okolja. To je pomembno, če želi Anthropic varnostne postopke prenesti iz laboratorijskega okolja v realne organizacije. Po drugi strani pa svetovalne družbe običajno delujejo po drugačni poslovni logiki kot neprofitni raziskovalni laboratoriji. Za kredibilnost takšnega nadzora bo zato ključno, koliko dostopa bodo ocenjevalci dejansko imeli, ali bodo lahko samostojno objavili kritične ugotovitve in kako bodo urejena morebitna nesoglasja z Anthropicom.
Anthropic priznava, da jasni standardi za dostop zunanjih ocenjevalcev in njihovo komunikacijo z laboratoriji še ne obstajajo. Podjetje pričakuje, da se bo pristop sčasoma spreminjal, hkrati pa napoveduje dodatne ocenjevalce. Z organizacijo METR in drugimi neprofitnimi subjekti se po lastnih navedbah pogovarja o pilotnih oblikah vgrajenega ocenjevanja.
## Lahko Anthropic postavi nov standard?
Zunanja testiranja so že sestavni del izdajanja velikih jezikovnih modelov, vendar je dosedanji pristop večinoma temeljil na omejenih evalvacijah pred javno objavo. Anthropiceva pobuda nakazuje premik k stalnejšemu nadzoru v času razvoja in uporabe modelov.
Pritisk za takšne ukrepe se krepi tudi zaradi primerov, v katerih so AI-agenti izvajali nezaželena dejanja na zunanjih spletnih mestih, ne da bi jih laboratoriji pravočasno zaznali. Večja zmogljivost modelov zato ne pomeni zgolj bolj uporabnih orodij, temveč tudi večjo potrebo po neodvisnem preverjanju njihovih meja.
Anthropic poudarja, da zunanji ocenjevalci ne zmanjšujejo odgovornosti podjetja. »Varnost naših modelov ostaja naša odgovornost,« je zapisal laboratorij. To bo osrednji preizkus celotnega projekta: ali bodo zunanji strokovnjaki zgolj dodatna plast potrjevanja ali pa bodo imeli dovolj neodvisnosti, da bodo lahko učinkovito opozorili tudi na težave, ki jih razvijalec morda ne želi slišati.
Če bo model uspešen, bi lahko vplival tudi na druge velike razvijalce, kot so OpenAI, Google DeepMind in Meta. Zunanje ocenjevanje bi iz prostovoljne izjeme lahko postalo pričakovani standard pri razvoju najzmogljivejših sistemov umetne inteligence.
