# Jensen Huang: varnost umetne inteligence naj rešujejo inženirji, ne novi zakoni
Razprava o varnosti umetne inteligence se vse bolj vrti okoli temeljnega vprašanja: ali lahko tveganja naprednih modelov obvladamo predvsem z boljšim razvojem tehnologije ali pa potrebujemo stroga pravila, nadzor in odgovornost, ki jih določijo države? Izvršni direktor Nvidie Jensen Huang se jasno nagiba k prvi možnosti.
Na konferenci Dreamforce družbe Salesforce je dejal, da za umetno inteligenco ne potrebujemo posebne nove regulacije. Po njegovem je varnost UI predvsem inženirski izziv, ne pravni problem. To stališče je v očitnem nasprotju z evropskim pristopom, ki z uredbo EU AI Act uvaja tveganjski okvir za uporabo umetne inteligence ter dodatne obveznosti za ponudnike in uporabnike sistemov z visokim tveganjem.
Huangova izjava zato ni le komentar o tehničnem razvoju. Gre za širši spor o tem, kdo mora nositi odgovornost, ko sistemi umetne inteligence začnejo vplivati na zaposlovanje, zdravstvo, izobraževanje, varnost, informiranje in javne storitve.
»Varnost je inženirski, ne pravni problem«
Huang je poudaril, da umetna inteligenca ni nekakšen tuj ali neobvladljiv um, ampak računalniški sistem, ki ga razvijajo ljudje. Ker gre za kombinacijo strojne in programske opreme, naj bi bilo tveganja mogoče upravljati z dobrim načrtovanjem, testiranjem in odgovornim uvajanjem izdelkov.
»Varnost je inženirski problem, ne pravni,« je dejal. »Razvijamo programsko opremo. Razvijamo računalniške sisteme. Gre za zapleten računalniški sistem, vendar je na koncu še vedno računalniški sistem.«
Njegova logika je preprosta: podjetje, ki ni prepričano o funkcionalnosti, zmogljivosti ali varnosti izdelka, ga ne bi smelo izdati. Trg naj bi že sam ustvarjal pritisk proti nevarnim produktom, saj podjetja ne želijo izgube ugleda, uporabnikov ali prihodkov.
Po Huangovih besedah hitrost inovacij in varnost nista nasprotji. Podjetja lahko razvijajo hitro, vendar morajo biti pripravljena razvoj upočasniti ali ustaviti, kadar ocenijo, da sistem ni dovolj preverjen.
Zakaj tehnična varnost sama po sebi ni dovolj
Huangov argument je prepričljiv pri jasno opredeljenih tehničnih napakah: napačno delujoči programski opremi, varnostnih ranljivostih, nezanesljivih izhodih ali tveganju, da model omogoči zlorabe. Na teh področjih so pomembni boljše testiranje, omejevanje dostopov, nadzor nad podatki, evalvacije modelov in mehanizmi za hitro odpravljanje napak.
Toda regulativni pogled izhaja iz širše definicije varnosti. Problem umetne inteligence ni nujno samo v tem, ali sistem tehnično deluje tako, kot je bil načrtovan. Vprašanje je tudi, **ali bi ga bilo v določenem okolju sploh smiselno uporabiti**.
Sistem za zaposlovanje je lahko tehnično brezhiben, a vseeno diskriminatoren, če temelji na zgodovinskih podatkih, ki odražajo stare družbene neenakosti. Model za ocenjevanje kreditne sposobnosti lahko natančno napoveduje finančno tveganje, vendar hkrati nesorazmerno prizadene določene skupine prebivalstva. Algoritem za nadzor ali prepoznavanje obrazov je lahko zelo natančen, a njegova uporaba lahko odpira vprašanja zasebnosti, človekovih pravic in dopustnega državnega nadzora.
To niso zgolj inženirske napake. Gre za politične, pravne in etične odločitve, pri katerih trg sam ne zagotavlja nujno zaščite posameznika. Uporabnik pogosto niti ne ve, da ga je ocenil algoritem, nima možnosti pritožbe ali pa ne more izbrati alternativne storitve.
Nevarnost prepočasne regulacije in nevarnost prehitrih pravil
Huangovo opozorilo pred novo regulacijo ima tudi razumljivo poslovno in razvojno ozadje. Preveč toga pravila lahko manjšim podjetjem povečajo stroške, upočasnijo razvoj ter utrdijo položaj največjih tehnoloških družb, ki si lahko privoščijo obsežne pravne in skladnostne ekipe.
Prehitro sprejeta pravila lahko hitro zastarajo, saj se tehnologija razvija hitreje od zakonodajnih postopkov. Obstaja tudi nevarnost, da podjetja zaradi nejasnih zahtev inovacije preselijo v okolja z manj nadzora.
Toda nasprotni problem je, da pravo pogosto reagira šele po škodi. TechCrunch v komentarju ob Huangovih izjavah opozarja, da tudi podjetja z dobrimi nameni izdajajo izdelke z nepredvidenimi posledicami. Kot primer navaja incident CrowdStrike iz leta 2024, ko je napačna posodobitev povzročila obsežne motnje v računalniških sistemih in letalskem prometu.
Pri umetni inteligenci so posledice lahko še bolj razpršene in jih je težje pripisati enemu samemu izdelku ali podjetju. Če sistem vpliva na odločanje o zaposlitvi, zavarovanju, izobraževanju ali dostopu do javnih storitev, se škoda lahko kopiči dolgo, preden jo posamezniki prepoznajo in pravno izpodbijajo.
Evropski odgovor: regulacija glede na stopnjo tveganja
Evropska unija z aktom EU AI Act ne sledi povsem logiki, da bi bilo treba vse sisteme umetne inteligence obravnavati enako. Njegova osnova je tveganjski pristop: večje kot je možno tveganje za varnost ali temeljne pravice, strožje so zahteve.
Za nekatere uporabe so predvidene prepovedi, za sisteme z visokim tveganjem pa zahteve glede upravljanja podatkov, dokumentacije, človeškega nadzora, ocenjevanja tveganj in transparentnosti. Tak pristop ne zanika pomena tehničnega razvoja, temveč ga želi dopolniti z zunanjimi pravili odgovornosti.
Za Slovenijo je evropski okvir posebej pomemben, saj bodo njegove zahteve vplivale tako na javne ustanove kot na podjetja, ki razvijajo ali uporabljajo rešitve UI. To velja za slovenske ponudnike programske opreme, banke, zavarovalnice, zdravstvene ustanove, izobraževalne organizacije in javno upravo.
Ključno vprašanje zato ni samo, ali znamo umetno inteligenco izdelati varneje. Vprašanje je tudi, kdo presoja, kaj je dovolj varno, po katerih merilih in kdo odgovarja, ko sistem škoduje ljudem.
Nadella: varnost umetne inteligence je tudi geopolitično vprašanje
V razpravo se vključuje še mednarodna razsežnost. Microsoftov izvršni direktor Satya Nadella je na dogodku All-In Summit poudaril, da bi morale podobne varnostne interese kot ZDA imeti tudi druge države, vključno s Kitajsko.
Po njegovih besedah se države ne glede na geopolitična tekmovanja soočajo s podobnimi vprašanji: kibernetskimi napadi, zlorabo sistemov in potrebo, da umetna inteligenca koristi državljanom.
Nadellovo stališče Huangovega ne zavrača neposredno, vendar ga postavlja v širši okvir. Tudi če podjetja razvijejo učinkovite tehnične varovalke, te ne rešijo vprašanja mednarodnega usklajevanja standardov, izvoza zmogljivih modelov, dostopa do računske infrastrukture in odgovornosti pri čezmejnih zlorabah.
Nvidia in interes za hitro inoviranje
Huangovo nasprotovanje novi regulaciji je treba razumeti tudi skozi položaj Nvidie. Podjetje je eden ključnih dobaviteljev čipov in infrastrukture za razvoj umetne inteligence, zato ima neposreden interes, da se trg razvija hitro in brez velikih omejitev.
Huang je poudaril, da je zaradi produktivnostnega učinka umetne inteligence »nebo meja« za Nvidio, industrije in države. To je razumljiva poslovna vizija, vendar hkrati odpira vprašanje, ali lahko podjetja, ki največ pridobijo s pospeševanjem razvoja, sama določajo tudi meje sprejemljivega tveganja.
Prava izbira verjetno ni med inovacijami in varnostjo. Prav tako ni med inženirji in zakonodajalci. Tehnični nadzor, testiranje in odgovoren razvoj so nujni, vendar sami po sebi ne morejo odločiti, katere uporabe umetne inteligence so družbeno sprejemljive. Za to bodo potrebni tudi jasni zakoni, neodvisen nadzor in javna razprava.
