Uporaba umetne inteligence pri načrtovanju zahtevne gorske ture se je za tri pohodnike na kalifornijski Mount Shasti končala z nočjo v kanjonu in reševalno akcijo. Po navedbah urada šerifa okrožja Siskiyou je skupina pri pripravi odprave uporabila Googlov Gemini, ki naj bi jim priporočil premalo hrane in vode za njihove potrebe.
Trije mladi moški so se na pot odpravili ob 3. uri zjutraj. Za vzpon so sprva predvideli osem ur, vendar so vrh dosegli šele ob 19. uri. Ker pohodnikom priporočajo, da se obrnejo, če vrha ne dosežejo do poldneva, so bili ob sestopu že v temi. Poklicali so šerifov urad, da bi dobili navodila, nato pa noč preživeli v kanjonu Mud Creek. Naslednje jutro so jih rešili gozdarski čuvaji in prostovoljci.
Težava ni nujno ena sama napačna informacija
Ni jasno, kaj je Gemini skupini dejansko svetoval, kako so pohodniki oblikovali vprašanja in v kolikšni meri so nasvete upoštevali. Zato incidenta ni mogoče z gotovostjo opisati kot posamezno »halucinacijo« umetne inteligence. Je pa primer omejitev velikih jezikovnih modelov pri odločanju v okoliščinah, kjer so posledice napačne presoje lahko resne.
Takšni modeli lahko ustvarijo prepričljivo besedilo, vendar sami po sebi nimajo izkušenj s terenom, fizične presoje uporabnikove pripravljenosti ali zanesljivega razumevanja hitro spreminjajočih se razmer. Pri gorski turi so pomembni vreme, snežne in ledne razmere, izbrana smer, višinska razlika, hitrost skupine, razpoložljivost vode, oprema ter možnost varnega umika. Odgovor AI je lahko videti natančen, čeprav temelji na nepopolnem opisu poti ali zastarelih oziroma splošnih podatkih.
Ključni »padec« zato morda ni le v količini predlaganih zalog, temveč v tem, da je bil odgovor uporabljen kot odločilna podlaga za varnostno načrtovanje. AI nima zdrave pameti v človeškem pomenu besede in ne prevzema odgovornosti za oceno tveganja na terenu.
Nevarnost pretiranega zaupanja
Primer Mount Shaste odpira širše vprašanje uporabe generativne AI za navigacijo, zdravstvene informacije, finančne odločitve in druga področja, kjer lahko napačen ali nepopoln nasvet povzroči škodo. Težava pogosto ni v tem, da AI nikoli ne ponudi uporabnega odgovora, temveč v tem, da uporabnik težko prepozna, kdaj je odgovor nezanesljiv.
Razvijalci zato nosijo odgovornost, da pri visoko tveganih vprašanjih jasno označijo omejitve svojih sistemov in uporabnike usmerijo k uradnim oziroma strokovnim virom. Toda tudi opozorila ne morejo nadomestiti kritične presoje uporabnika.
Urad šerifa je pohodnike in druge obiskovalce pozval, naj pred potjo pokličejo lokalno postajo čuvajev ameriške gozdarske službe na Mount Shasti. »Nikoli se pri načrtovanju poti ne zanašajte izključno na AI,« so poudarili.
Kako AI uporabljati varneje
AI je lahko koristna za pripravo kontrolnega seznama opreme, razlago splošnih pojmov ali zbiranje vprašanj za lokalne strokovnjake. Ne bi pa smela biti edini vir za odločitve, povezane z varnostjo.
Pri načrtovanju ture je smiselno informacije, ki jih ponudi AI, preveriti z vsaj dvema neodvisnima viroma: uradnimi obvestili upravljavca območja, lokalno vremensko napovedjo, stanjem poti in priporočili čuvajev ali izkušenih vodnikov. Pohodniki morajo imeti tudi dovolj zalog, ustrezno opremo, načrt umika in pripravljenost, da se obrnejo, če razmere ali časovni potek ne ustrezajo načrtu.
