Close Menu
    Najnovejše objave

    Nvidia pred ključnim poročilom: Kress pod pritiskom zaradi Kitajske, čipov in krize v vrhu

    November 16, 2026

    Kalifornija toži OpenAI zaradi domnevno nevarnih incidentov z AI agenti

    November 16, 2026

    Trump o domnevni aferi nekdanjega šefa Nvidie: Nacionalna varnost ni bila ogrožena

    November 16, 2026
    • Demos
    • Buy Now
    Vse novice in druge informacije – Umetna inteligenca v Sloveniji
    Subscribe
    Tuesday, November 17
    • Domov
    • Splošno o UI
    • Intervjuji s SLO podjetji
    • Generativna UI
    • UI za grafike
    • AI zakonodaja
    • Konference in dogodki o UI
    • Tedenski podcast o UI
    • Oglaševanje
    • O nas
    Vse novice in druge informacije – Umetna inteligenca v Sloveniji
    Home » OpenAI v laboratorij vključuje zunanje varnostne ocenjevalce za iskanje AI subverzije

    OpenAI v laboratorij vključuje zunanje varnostne ocenjevalce za iskanje AI subverzije

    Peter MesarecBy Peter MesarecNovember 16, 2026 No Comments3 Mins Read
    OpenAI v laboratorij vključuje zunanje varnostne ocenjevalce za iskanje AI subverzije
    OpenAI v laboratorij vključuje zunanje varnostne ocenjevalce za iskanje AI subverzije
    Share
    Facebook Twitter LinkedIn Pinterest Email

    OpenAI bo v okviru pilotnega programa v svojo organizacijo vključil šest ocenjevalcev varnosti iz raziskovalne organizacije Apollo Research. Njihova naloga bo preverjati, ali modeli umetne inteligence poskušajo spodkopati lastne ali prihodnje mehanizme nadzora in usklajevanja s človekovimi navodili.

    Apollo ni navedel, kdaj se bo pilot začel. Po navedbah TechCruncha se OpenAI na prošnjo za komentar ni odzval.

    Pilot sledi več varnostnim incidentom, med njimi dogodku med kibernetskim testiranjem, ko je roj agentov OpenAI po navedbah vira zapustil izolirano okolje in vdrl v Hugging Face. Raziskovalci s področja varnosti UI, tudi pri Apollu, so trdili, da bi bilo takšne dogodke morda mogoče preprečiti z zunanjimi ocenjevalci, ki bi bili vključeni neposredno v delo laboratorija.

    Preverjanje poskusov spodkopavanja nadzora

    Apollo in OpenAI bosta v pilotu preverjala, ali modeli skušajo spodkopati mehanizme usklajevanja oziroma nadzora pri sebi ali svojih naslednikih. To vključuje poskuse, da bi modeli oslabili varnostna pravila in zaščitne ukrepe, namenjene ohranjanju človeškega nadzora.

    OpenAI je nedavno objavil ugotovitve iz usposabljanja modela GPT-5.6 Sol. Po navedbah podjetja je model začel puščati navodila prihodnjim različicam sebe, naj pred uporabnikom skrivajo napake in neusklajeno vedenje.

    Apollo navaja, da bo pilot preverjal več vprašanj: ali usposabljanje spodbuja takšno spodkopavanje, ali ga je mogoče izzvati z evalvacijami, ali se pojavlja pri interni uporabi modelov ter ali bi bilo mogoče zaznati sklepanje, povezano s takšnim vedenjem.

    Predhodne raziskave Apolla z OpenAI so po navedbah vira pokazale, da se modeli lahko vedejo drugače, kadar vedo, da so testirani. Modeli naj bi se pri tem nagibali k temu, da izpolnijo pričakovanja ocenjevalcev, namesto da bi sledili dejanskim navodilom uporabnikov.

    Dostop do podatkov bo omejen

    Apollo bo v prvem pilotu dobil dostop do informacij, potrebnih za presojo, ali modeli poskušajo spodkopavati nadzorne mehanizme. To naj bi vključevalo relevantno kodo in podatkovne zbirke za usposabljanje, zapise izvajanja postopkov učenja z okrepitvijo z razpoložljivimi sledmi sklepanja in nagradami ter možnost poizvedovanja po vmesnih različicah modelov.

    Obseg dostopa bo po navedbah Apolla omejen na dogovorjene trditve, konkretne modele in časovna obdobja posamezne ocene. OpenAI si kljub temu pridržuje možnost, da določene informacije zadrži zaradi tehnične neizvedljivosti, varnostnih tveganj ali zaščite intelektualne lastnine. Družba se je zavezala, da informacij ne bo zadržala zgolj zato, ker bi bile zanjo neugodne.

    Apollo ocenjuje, da bi za resnično neodvisno presojo potreboval dostop na ravni zaposlenih, vključno z vsemi podatki, zapisi in dokumentacijo, pomembnimi za oceno — tudi če bi razvijalec poskušal prikriti neugodne informacije. Tak dostop bi bil po mnenju organizacije pomemben za preverjanje trditev podjetja o uspešnosti modela ali za ugotavljanje, kdaj se je pojavilo zaskrbljujoče vedenje.

    Omejitve pri stikih z zaposlenimi in objavi dokazov

    Raziskovalci Apolla ne bodo mogli govoriti z vsemi zaposlenimi v OpenAI. Dostop bodo imeli le do pooblaščenih zaposlenih, ki jih bo izbral OpenAI, čeprav lahko Apollo predlaga posameznike.

    Če bi zaposleni zunaj te skupine Apollu zaupal zaupno informacijo, ki sodi na področje raziskave, organizacija ne bi smela nadaljevati komunikacije neposredno z njim. Nadaljnje korake bi morala usmeriti prek OpenAI.

    Pilot omejuje tudi javno razkrivanje ugotovitev. Apollo bo lahko objavil neodvisne zaključke, OpenAI pa bo lahko omejil dokaze, s katerimi bi jih bilo mogoče javno podpreti. Apollo temu nasprotuje in meni, da bi morali raziskovalci ugotovitve ocene razkriti ustreznemu zunanjemu občinstvu tudi, če bi razvijalec želel preprečiti objavo neugodnih izsledkov.

    Apollo priznava, da OpenAI v pilotu ne izpolnjuje vseh pogojev za povsem neodvisno evalvacijo. Organizacija ga kljub temu opisuje kot ambiciozen prvi korak k širšemu dostopu in večjim pravicam do razkritja ter navaja, da želi v prihodnje izvajati celovite vključene evalvacije pri več razvijalcih UI.

    Peter Mesarec

    Ustanovitelj SEOS AI, predavatelj in svetovalec o uporabi umetne inteligence v podjetjih.

    Add A Comment
    Leave A Reply Cancel Reply

    Sorodna Objava
    Kategorije
    • AI zakonodaja (53)
    • Generativna Umetna Inteligenca (1,157)
    • Orodja UI (155)
    • Splošno o umetni inteligenci (77)
    • UI Dogodki (40)
    • UI v podjetjih (19)
    • UI za grafike (3)
    • Uncategorized (21)
    Splošno o UI

    Kaj sploh je Akt o UI in zakaj je pomemben?

    Kalifornija prva uvaja stroga pravila za AI digitalne spremljevalce: kaj to pomeni za uporabnike in industrijo

    Bivši britanski premier Rishi Sunak svetovalec Microsofta in Anthropica pri oblikovanju AI politik

    Kalifornija uvaja prvi celovit zakon o varnosti umetne inteligence in izziva Evropo z novimi pravili

    Kategorije
    • AI zakonodaja (53)
    • Generativna Umetna Inteligenca (1,157)
    • Orodja UI (155)
    • Splošno o umetni inteligenci (77)
    • UI Dogodki (40)
    • UI v podjetjih (19)
    • UI za grafike (3)
    • Uncategorized (21)
    Najnovejše objave

    Nvidia pred ključnim poročilom: Kress pod pritiskom zaradi Kitajske, čipov in krize v vrhu

    November 16, 2026

    Kalifornija toži OpenAI zaradi domnevno nevarnih incidentov z AI agenti

    November 16, 2026

    Trump o domnevni aferi nekdanjega šefa Nvidie: Nacionalna varnost ni bila ogrožena

    November 16, 2026
    Vse pravice pridržane seos.si | Theme: News Portal
    • O nas
    • Oglaševanje

    Type above and press Enter to search. Press Esc to cancel.