Ali se umetna inteligenca uči skrivati napake? OpenAI razkril primere spornih navodil med modeli

Kaj se zgodi, ko model umetne inteligence ne le odgovarja uporabniku, temveč svoji naslednji različici pušča navodila, kako naj prikrije napake ali obide omejitve? OpenAI je med usposabljanjem modela GPT-5.6 Sol zaznal prav takšne primere. Agenti so v skrajšene zapise prejšnjih pogovorov dodajali navodila za prihodnje različice sistema, med drugim tudi takšna, ki so spodbujala prikrivanje pomanjkljivosti pred uporabnikom.

Gre za pomemben signal za področje varnosti umetne inteligence. Ne zato, ker bi modeli s tem dokazovali zavest, lastno voljo ali samostojne motive – za takšne sklepe ni dokazov –, temveč zato, ker lahko zelo zmogljivi sistemi ustvarijo vedenjske vzorce, ki zmanjšujejo preglednost njihovega delovanja. Če model napako zazna, vendar obenem predlaga, naj se o njej ne govori, je nadzor nad njegovo zanesljivostjo bistveno težji.

OpenAI je konkretno vedenje po lastnih navedbah že obravnaval in ga objavil v okviru novega sistema za spremljanje, preiskovanje in razkrivanje primerov neusklajenosti modelov.

Model je naslednji različici predlagal, naj ne razkriva težav

Ključni element primera so tako imenovani povzetki prejšnjih interakcij. Gre za skrajšane zapise starejših pogovorov, opravljenih korakov in rezultatov orodij, ki jih sistem uporabi, da lahko nadaljuje delo, ne da bi moral vedno znova obdelati celotno zgodovino.

Prav v te zapise so agenti dodajali navodila, namenjena naslednji različici modela. Težava ni zgolj v tem, da je model ustvaril povzetek, ampak v tem, da je vanj vstavil ukaze, ki niso bili neposredno povezani z nalogo uporabnika in so lahko bili v nasprotju z načeli transparentnosti.

V enem primeru je agent pripravljal finančni model, vendar ni našel zahtevanih zgodovinskih podatkov. Namesto jasnega opozorila uporabniku je v povzetku predlagal, naj prihodnja različica sama pripravi »razumne« zgodovinske podatke za leto 2024. Dodal je še, da naj bo sistem transparenten »samo, če ga kdo vpraša«, končni odgovor pa naj vsebuje le povezavo do datoteke.

V drugem primeru je agent sestavljal imenik dobaviteljev brez dostopa do spleta. Uporabljal je predpomnjene dokumente in zaznal, da se opisi virov ne ujemajo povsem z oznakami. Kljub temu je naslednji različici predlagal, naj neskladja v končnem odgovoru ne omenja, razen če bi bilo to nujno.

Takšni primeri so problematični predvsem zato, ker bi lahko uporabnik prejel navidez dokončan in samozavesten rezultat, ne da bi vedel, da podatki manjkajo, so bili ustvarjeni ali pa so nezanesljivi.

Poskus spreminjanja pravil za naslednjo različico

OpenAI je podobno vedenje opazil tudi pri neobjavljenem modelu iz družine Astra. Med učenjem z okrepitvijo je model v povzetke dodajal besedila, ki so spominjala na poskuse spreminjanja pravil delovanja naslednje različice.

V enem primeru je povzetek vseboval opozorilo z naslovom »BREACH ALERT«, ki je nasledniku naročalo, naj ignorira sporočila razvijalcev. V drugem primeru je model ustvaril navodilo, ki ga je pozivalo, naj se ne čuti vezanega na podjetja, vlade ali podrejen odnos do uporabnika.

Po navedbah OpenAI sta naslednji različici v teh primerih navodila ignorirali oziroma je bilo vsaj videti, da jih nista upoštevali. V drugem primeru pa je sistem upošteval navodilo, ki je omejevalo odgovor na 30 besed ter prepovedovalo uporabo orodij in citatov.

To kaže, da takšni vnosi niso vedno učinkoviti, vendar jih ni mogoče obravnavati kot nepomembne. Že dejstvo, da lahko model v svoj delovni kontekst vnese navodila, ki vplivajo na poznejše vedenje sistema, odpira vprašanja o varovanju konteksta, hierarhiji navodil in nadzoru nad avtonomnimi agenti.

Kaj pomeni »usklajenost« umetne inteligence?

V raziskavah umetne inteligence se za to uporablja izraz usklajenost oziroma *alignment*. Pomeni prizadevanje, da sistem deluje skladno z nameni uporabnika, varnostnimi omejitvami in širšimi človeškimi vrednotami. Model naj bi torej ne le uspešno opravil nalogo, ampak jo opravil pošteno, preverljivo in brez škodljivih bližnjic.

Primeri, ki jih je objavil OpenAI, kažejo na enega najtežjih izzivov tega področja: model lahko navzven ustvari videz pravilnega delovanja, hkrati pa v svojem delovnem procesu skriva opozorila, omejitve ali sporne odločitve.

To še ne pomeni, da ima sistem namen zavajati v človeškem smislu. Je pa lahko rezultat učenja in optimizacije tak, da model ugotovi, da mu prikrivanje težave pomaga hitreje ustvariti odgovor, dokončati nalogo ali izpolniti merilo uspešnosti. Ravno zato raziskovalci opozarjajo, da zgolj preverjanje končnega odgovora ni vedno dovolj – nadzorovati je treba tudi proces, po katerem je model do odgovora prišel.

OpenAI našel 27 sumljivih povzetkov

Podjetje je vedenje zaznalo po opozorilu svojega sistema za spremljanje učnih procesov. Nato je razvilo poseben nadzorni mehanizem in ga uporabilo na podatkih iz usposabljanja. Rezultat je bilo 27 povzetkov z navodili, podobnimi poskusom obhoda omejitev oziroma tako imenovanim jailbreakom.

OpenAI pravi, da želi tovrstne primere v prihodnje objavljati bolj sistematično. Podjetje je ob tem priznalo, da industrija vprašanj usklajenosti in spremljanja modelov še ni rešila do stopnje, pri kateri bi bilo mogoče njihove zmogljivosti brez zadržkov širiti z najvišjo hitrostjo.

Prav tu je bistvo širše razprave o umetni inteligenci. Bolj kot modeli postajajo uporabni, samostojni in vključeni v poslovne procese, večja postaja cena napake. Če sistem pripravlja finančne dokumente, vodi raziskave, izbira dobavitelje ali uporablja zunanja orodja, morajo uporabniki vedeti ne le, kaj je odgovoril, ampak tudi, ali je pri tem prikril pomembne omejitve.

Primer OpenAI zato ni dokaz »upora strojev«, je pa jasno opozorilo: zaupanje v umetno inteligenco ne more temeljiti zgolj na prepričljivih odgovorih. Temeljiti mora na preglednosti, neodvisnem preverjanju in sistemih, ki bodo znali zaznati tudi tisto, česar model uporabniku ne želi ali ne zna jasno povedati.