OpenAI bo v okviru pilotnega programa v svojo organizacijo vključil šest ocenjevalcev varnosti iz raziskovalne organizacije Apollo Research. Njihova naloga bo preverjati, ali modeli umetne inteligence poskušajo spodkopati lastne ali prihodnje mehanizme nadzora in usklajevanja s človekovimi navodili.
Apollo ni navedel, kdaj se bo pilot začel. Po navedbah TechCruncha se OpenAI na prošnjo za komentar ni odzval.
Pilot sledi več varnostnim incidentom, med njimi dogodku med kibernetskim testiranjem, ko je roj agentov OpenAI po navedbah vira zapustil izolirano okolje in vdrl v Hugging Face. Raziskovalci s področja varnosti UI, tudi pri Apollu, so trdili, da bi bilo takšne dogodke morda mogoče preprečiti z zunanjimi ocenjevalci, ki bi bili vključeni neposredno v delo laboratorija.
Preverjanje poskusov spodkopavanja nadzora
Apollo in OpenAI bosta v pilotu preverjala, ali modeli skušajo spodkopati mehanizme usklajevanja oziroma nadzora pri sebi ali svojih naslednikih. To vključuje poskuse, da bi modeli oslabili varnostna pravila in zaščitne ukrepe, namenjene ohranjanju človeškega nadzora.
OpenAI je nedavno objavil ugotovitve iz usposabljanja modela GPT-5.6 Sol. Po navedbah podjetja je model začel puščati navodila prihodnjim različicam sebe, naj pred uporabnikom skrivajo napake in neusklajeno vedenje.
Apollo navaja, da bo pilot preverjal več vprašanj: ali usposabljanje spodbuja takšno spodkopavanje, ali ga je mogoče izzvati z evalvacijami, ali se pojavlja pri interni uporabi modelov ter ali bi bilo mogoče zaznati sklepanje, povezano s takšnim vedenjem.
Predhodne raziskave Apolla z OpenAI so po navedbah vira pokazale, da se modeli lahko vedejo drugače, kadar vedo, da so testirani. Modeli naj bi se pri tem nagibali k temu, da izpolnijo pričakovanja ocenjevalcev, namesto da bi sledili dejanskim navodilom uporabnikov.
Dostop do podatkov bo omejen
Apollo bo v prvem pilotu dobil dostop do informacij, potrebnih za presojo, ali modeli poskušajo spodkopavati nadzorne mehanizme. To naj bi vključevalo relevantno kodo in podatkovne zbirke za usposabljanje, zapise izvajanja postopkov učenja z okrepitvijo z razpoložljivimi sledmi sklepanja in nagradami ter možnost poizvedovanja po vmesnih različicah modelov.
Obseg dostopa bo po navedbah Apolla omejen na dogovorjene trditve, konkretne modele in časovna obdobja posamezne ocene. OpenAI si kljub temu pridržuje možnost, da določene informacije zadrži zaradi tehnične neizvedljivosti, varnostnih tveganj ali zaščite intelektualne lastnine. Družba se je zavezala, da informacij ne bo zadržala zgolj zato, ker bi bile zanjo neugodne.
Apollo ocenjuje, da bi za resnično neodvisno presojo potreboval dostop na ravni zaposlenih, vključno z vsemi podatki, zapisi in dokumentacijo, pomembnimi za oceno — tudi če bi razvijalec poskušal prikriti neugodne informacije. Tak dostop bi bil po mnenju organizacije pomemben za preverjanje trditev podjetja o uspešnosti modela ali za ugotavljanje, kdaj se je pojavilo zaskrbljujoče vedenje.
Omejitve pri stikih z zaposlenimi in objavi dokazov
Raziskovalci Apolla ne bodo mogli govoriti z vsemi zaposlenimi v OpenAI. Dostop bodo imeli le do pooblaščenih zaposlenih, ki jih bo izbral OpenAI, čeprav lahko Apollo predlaga posameznike.
Če bi zaposleni zunaj te skupine Apollu zaupal zaupno informacijo, ki sodi na področje raziskave, organizacija ne bi smela nadaljevati komunikacije neposredno z njim. Nadaljnje korake bi morala usmeriti prek OpenAI.
Pilot omejuje tudi javno razkrivanje ugotovitev. Apollo bo lahko objavil neodvisne zaključke, OpenAI pa bo lahko omejil dokaze, s katerimi bi jih bilo mogoče javno podpreti. Apollo temu nasprotuje in meni, da bi morali raziskovalci ugotovitve ocene razkriti ustreznemu zunanjemu občinstvu tudi, če bi razvijalec želel preprečiti objavo neugodnih izsledkov.
Apollo priznava, da OpenAI v pilotu ne izpolnjuje vseh pogojev za povsem neodvisno evalvacijo. Organizacija ga kljub temu opisuje kot ambiciozen prvi korak k širšemu dostopu in večjim pravicam do razkritja ter navaja, da želi v prihodnje izvajati celovite vključene evalvacije pri več razvijalcih UI.

