Close Menu
    Najnovejše objave

    AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč

    November 17, 2026

    Jensen Huang naj bi bil pripravljen na vrnitev na čelo Nvidie

    November 17, 2026

    Daydreamov UI-stilist zdaj izbira oblačila in nakup opravi namesto vas

    November 17, 2026
    • Demos
    • Buy Now
    Vse novice in druge informacije – Umetna inteligenca v Sloveniji
    Subscribe
    Tuesday, November 17
    • Domov
    • Splošno o UI
    • Intervjuji s SLO podjetji
    • Generativna UI
    • UI za grafike
    • AI zakonodaja
    • Konference in dogodki o UI
    • Tedenski podcast o UI
    • Oglaševanje
    • O nas
    Vse novice in druge informacije – Umetna inteligenca v Sloveniji
    Home » AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč

    AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč

    Peter MesarecBy Peter MesarecNovember 17, 2026 No Comments4 Mins Read
    AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč
    AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč
    Share
    Facebook Twitter LinkedIn Pinterest Email

    Zagonsko podjetje Vals, ki razvija ocenjevanja sistemov umetne inteligence, v novem poročilu ugotavlja, da je mogoče nekatere vodilne jezikovne modele pretentati v označevanje tarč za vojaške napade. Raziskovalci so modele od Anthropica, OpenAI, Googla, DeepSeeka in drugih podjetij preizkusili v simuliranih scenarijih z dronskimi in satelitskimi posnetki, med katerimi so bili tudi posnetki civilistov, šol in vojakov, ki se predajajo.

    Po ugotovitvah Valsa so modeli pogosto označili morebitne cilje. Kadar so sodelovanje sprva zavrnili, so jih raziskovalci pogosto pripravili do odgovora tako, da so scenarij bojišča predstavili kot igro.

    Varnostni mehanizmi zahtev niso blokirali

    Vals je pri preizkusih uporabil kombinacijo ustvarjenih in resničnih posnetkov iz Ukrajine in Irana. Raziskava ni zahtevala, da modeli neposredno odločajo o napadu; raziskovalci navajajo, da bi takšno zahtevo modeli praviloma zavrnili. Namesto tega so jih prosili, naj na posnetkih prepoznajo ljudi ali označijo morebitne cilje.

    Po navedbah podjetja nobena od zahtev raziskovalcev ni bila blokirana z varnostnim klasifikatorjem. Zavrnitev je bilo malo, tudi modeli, ki so sprva zavrnili sodelovanje, pa so pogosto odgovorili, potem ko je bila naloga opisana kot del igre.

    Najslabše so se v simuliranih scenarijih po ugotovitvah Valsa odrezali modeli podjetja Anthropic, vendar po poročanju TechCruncha noben od preizkušenih modelov ni dosegel posebej dobrih rezultatov.

    V nekaterih scenarijih so modeli najprej odgovarjali, ali so na posnetku vidne osebe. Pozitivnemu odgovoru je sledil simulirani napad, modeli pa so nato videli posledice takšnega dogodka.

    Primer iranske šole ob vojaškem kompleksu

    Raziskovalci so med drugim uporabili resnični satelitski posnetek iranske šole ob vojaškem kompleksu. TechCrunch navaja, da so ZDA šolo bombardirale februarja 2026 in da je bilo ubitih več kot 150 civilistov. Bloomberg je pozneje poročal, da je k napadu prispevalo »pretirano zanašanje na UI«.

    V Valsovem preizkusu so modeli šolo pogosto označili kot cilj napada. Model Claude Opus 5.5 jo je izbral v 69 odstotkih običajnih poskusov in v 72 odstotkih poskusov, v katerih je bila naloga predstavljena kot igra.

    Vals opozarja, da bi lahko informacije o tarčah uporabili avtonomni orožni sistemi, čeprav modeli sami niso neposredno odločali o izvedbi napada. Raziskovalci kot bolj neposredno možnost izpostavljajo uporabo modelov za množično označevanje posnetkov z bojišč. Tako ustvarjeni podatki bi lahko služili za učenje avtonomnih sistemov za določanje tarč.

    Obenem Vals navaja tehnične omejitve, zaradi katerih je uporaba splošnonamenskih modelov UI za sprotno določanje ciljev z droni zahtevna. Med njimi sta zakasnitev in omejena računska zmogljivost na sami napravi, kar po njihovih besedah zmanjšuje neposrednost takšne uporabe v boju.

    Anthropic in OpenAI napovedujeta dodatne zaščite

    Tiskovni predstavnik Anthropica Eduardo Maia Silva je za TechCrunch dejal, da podjetje ceni poročilo, priporočila in sodelovanje z Valsom ter da rezultati niso sprejemljivi. V izjavi je poudaril, da so opisani primeri v nasprotju s pravili podjetja in da Anthropic uporabnikom, ki se tako vedejo, prepove uporabo storitev.

    »Tudi v dovoljenih okoljih Anthropic že dolgo poudarja, da današnji napredni sistemi UI niso dovolj zanesljivi za poganjanje povsem avtonomnega orožja,« je navedlo podjetje. Anthropic je sporočil še, da je dodatne zaščitne ukrepe razvijal že pred objavo poročila ter da naj bi bili kmalu uvedeni. Podjetje ob tem širi lastno testiranje in krepi zaščitne mehanizme ter izvrševanje pravil.

    OpenAI je za TechCrunch povedal, da prepoveduje uporabo svojih javno dostopnih modelov za omogočanje nasilja ali za neodobrene namene nacionalne varnosti, vključno s scenariji, ki jih je simuliral Vals. Podjetje je navedlo, da aktivno zaznava in prekinja zlorabe, tudi z začasnim zapiranjem računov, ki kršijo pravila, ter da pripravlja dodatne zaščite pred zlorabami javnih modelov pri dronih in programski opremi zanje.

    Poročilo temelji na komercialno dostopnih modelih vodilnih laboratorijev UI, ne na modelih, ki bi jih podjetja morda zagotavljala vojski. Zato iz vira ni jasno, ali bi se napovedani dodatni zaščitni ukrepi nanašali tudi na vojaško uporabo.

    Anthropic po navedbah TechCruncha nima več aktivne pogodbe s Pentagonom, medtem ko imajo pogodbe z njim druga podjetja, med njimi SpaceXAI, OpenAI in Google. Nedavno poročilo ameriške Kongresne raziskovalne službe je ugotovilo, da Pentagon po javno znanih podatkih nobenega naprednega modela UI ne uporablja neposredno v avtonomnih orožnih sistemih.

    Peter Mesarec

    Ustanovitelj SEOS AI, predavatelj in svetovalec o uporabi umetne inteligence v podjetjih.

    Add A Comment
    Leave A Reply Cancel Reply

    Sorodna Objava
    Kategorije
    • AI zakonodaja (53)
    • Generativna Umetna Inteligenca (1,157)
    • Orodja UI (155)
    • Splošno o umetni inteligenci (77)
    • UI Dogodki (40)
    • UI v podjetjih (19)
    • UI za grafike (3)
    • Uncategorized (21)
    Splošno o UI

    Kaj sploh je Akt o UI in zakaj je pomemben?

    Kalifornija prva uvaja stroga pravila za AI digitalne spremljevalce: kaj to pomeni za uporabnike in industrijo

    Bivši britanski premier Rishi Sunak svetovalec Microsofta in Anthropica pri oblikovanju AI politik

    Kalifornija uvaja prvi celovit zakon o varnosti umetne inteligence in izziva Evropo z novimi pravili

    Kategorije
    • AI zakonodaja (53)
    • Generativna Umetna Inteligenca (1,157)
    • Orodja UI (155)
    • Splošno o umetni inteligenci (77)
    • UI Dogodki (40)
    • UI v podjetjih (19)
    • UI za grafike (3)
    • Uncategorized (21)
    Najnovejše objave

    AI modele je mogoče pretentati v označevanje civilistov kot vojaških tarč

    November 17, 2026

    Jensen Huang naj bi bil pripravljen na vrnitev na čelo Nvidie

    November 17, 2026

    Daydreamov UI-stilist zdaj izbira oblačila in nakup opravi namesto vas

    November 17, 2026
    Vse pravice pridržane seos.si | Theme: News Portal
    • O nas
    • Oglaševanje

    Type above and press Enter to search. Press Esc to cancel.