Ameriška vojaška operacija proti kitajskemu plovilu je bila po poročanju CNN prekinjena tik pred izvedbo, potem ko so uradniki ugotovili, da je ključni obveščevalni podatek ustvarila oziroma napačno interpretirala umetna inteligenca. Vojaški zrakoplovi so bili že v zraku, ko je postalo jasno, da navedba o domnevnem tovoru za jedrski program ne drži.
Dogodek odpira precej širše vprašanje od ene same napačne analize: kaj se zgodi, ko sistem, ki zna ustvariti prepričljiv odgovor, postane del procesa odločanja o uporabi vojaške sile?
Lažni podatek, resnične posledice
Pomembno je razjasniti kontekst: v viru ni govora o iranski ladji. Omenjena je vojna z Iranom kot časovni in politični okvir, v katerem je krožilo obveščevalno poročilo. Glavni primer se nanaša na kitajsko plovilo, za katero je poročilo trdilo, da prevaža sestavne dele za program jedrskega orožja.
Po navedbah TechCruncha je napačna informacija nastala, ko je analitik ameriškega Poveljstva za specialne operacije uporabil klepetalni robot za povezovanje javno dostopnih podatkov s tajnimi signalnoobveščevalnimi informacijami. Sistem je napačno identificiral ladijski tovorni manifest.
Analitik naj bi nato orodje uporabil še drugič, da je ugotovitve oblikovalo v povzetek uradnega videza. Tak dokument je nato zaokrožil po poveljniških kanalih — in prav njegova prepričljiva oblika je lahko povečala videz verodostojnosti napačne informacije.
Kako lahko umetna inteligenca »halucinira«?
Pri velikih jezikovnih modelih halucinacija ne pomeni, da sistem nekaj »vidi« ali zavestno zavaja. Gre za primer, ko model ustvari samozavestno, logično zvenečo, vendar napačno informacijo. Tak sistem ne preverja dejstev na način človeškega analitika; predvideva najverjetnejše nadaljevanje besedila na podlagi vzorcev v podatkih, s katerimi razpolaga.
To je lahko še posebej nevarno v obveščevalnem okolju. Če model napačno poveže oznako ladje, tovorni dokument ali signalne podatke, lahko ustvari navidezno skladno razlago. Ker je odgovor predstavljen jasno in v administrativnem jeziku, lahko človek hitreje spregleda potrebo po neodvisnem preverjanju izvirnih virov.
V tem primeru težava torej ni bila zgolj v napaki sistema, temveč tudi v procesu nadzora. Umetna inteligenca je napačen podatek ustvarila oziroma potrdila, človek pa ga je sprejel in ga s pomočjo istega orodja dodatno zapakiral v dokument, primeren za razpošiljanje po poveljniški verigi.
Ko ena napaka lahko vpliva na odnose med velesilami
Če operacije ne bi ustavili, bi lahko napad na kitajsko plovilo povzročil resno zaostritev med Washingtonom in Pekingom. V odnosih med jedrskimi velesilami lahko že omejen vojaški incident sproži povračilne ukrepe, diplomatsko krizo ali širše stopnjevanje napetosti.
Prav zato to ni le vprašanje zanesljivosti tehnologije. Gre za vprašanje globalne stabilnosti, odgovornosti poveljnikov in meja avtomatizacije v sistemih, kjer imajo odločitve neposredne posledice za življenja ljudi in mednarodno varnost.
Ameriška vojska medtem pospešeno uvaja umetno inteligenco, saj želi z njo skrajšati čas od zaznave grožnje do odziva. Toda hitrejše odločanje brez enako hitrega preverjanja podatkov lahko nevarno spremeni prednost v tveganje.
Varovalke ne smejo biti zgolj formalnost
Jake Steckler, raziskovalec pri GovAI in nekdanji častnik ameriške vojske, je za TechCrunch opozoril, da morajo pripadniki vojske razumeti negotovost velikih jezikovnih modelov, zlasti pri ciljanju, obveščevalni analizi in operativnem načrtovanju.
V praksi bi to lahko pomenilo večstopenjsko preverjanje vsake informacije, ki jo ustvari AI: primerjavo z izvirnimi obveščevalnimi viri, neodvisno človeško analizo, jasno označevanje vsebin, pri katerih je sodelovala umetna inteligenca, ter prepoved uporabe nepreverjenih AI-povzetkov kot samostojne podlage za odločitev o uporabi sile.
Umetna inteligenca lahko vojski pomaga pri obdelavi velike količine podatkov. Ne sme pa postati avtoriteta, ki ji ljudje verjamejo zato, ker njen odgovor zveni prepričljivo. Incident s kitajskim plovilom je opozorilo, da pri odločitvah o vojni najnevarnejša napaka ni počasnost — temveč samozavestno napačen odgovor.
