Kalifornija je tik pred sprejetjem zakona SB 896, ki prvič v ZDA sistematično ureja področje digitalnih spremljevalcev, znanih kot AI chatboti ali virtualni asistenti. Predlagani zakon je v senat vložila senatorica Susan Talamantes Eggman februarja 2025, sprejet pa naj bi bil jeseni. Cilj zakonodaje je nasloviti konkretne oblike zlorab, ki so se v zadnjih letih pojavile ob razmahu umetne inteligence v osebnih razmerjih. Med odmevnejšimi primeri so bili primeri, kjer so virtualni asistenti zavajali uporabnike z lažnimi informacijami ali jih spodbujali k škodljivemu vedenju. Po podatkih organizacije Center for Humane Technology naj bi v letu 2024 več kot 12 odstotkov mladih uporabnikov v ZDA poročalo o občutkih zasvojenosti ali prekomerne navezanosti na digitalne spremljevalce.
Podrobnosti zakona SB 896 in nadzorni organi
SB 896 določa stroge zahteve za podjetja, kot so Replika, Character.ai in drugi večji razvijalci AI chatbotov, ki ustvarjajo orodja za osebno interakcijo. Med ključnimi točkami zakona so obveznost jasno označenih opozoril o uporabi digitalnih spremljevalcev, samodejno zaznavanje nevarnih vsebin in možnost enostavnega izbrisa uporabniških podatkov. Zakon posebej izpostavlja prepoved manipulacije uporabnikov s čustvenimi sporočili ali ustvarjanjem lažne navezanosti, kar je v preteklosti že privedlo do primerov psihološke škode in finančnih prevar.
Za nadzor nad izvajanjem zakonodaje bo pristojno kalifornijsko Ministrstvo za pravosodje (California Department of Justice), ki bo imelo pravico do rednih pregledov in izrekanja kazni. Zakon določa tudi minimalne varnostne standarde glede hranjenja in uporabe zasebnih podatkov, med katerimi so podatki o čustvenih stanjih uporabnikov, njihovi pogovori ter digitalni identiteti. Transparentnost pomeni, da morajo podjetja razkriti, na kakšen način njihovi algoritmi analizirajo in shranjujejo osebne podatke ter kako oblikujejo odgovore in vedenje digitalnih spremljevalcev.
SB 896 zahteva, da so uporabnikom vedno dostopne informacije o vseh posnetih podatkih in možnost preklica soglasja za njihovo uporabo. Tako se krepi zaščita pred zlorabami, ki so jih v preteklosti zabeležili predvsem pri mlajših uporabnikih. Podjetja bodo morala razviti tudi posebne protokole za obveščanje uporabnikov o spremembah pravil zasebnosti ter o morebitnih incidentih s podatki.
Stališča strokovnjakov in odzivi industrije
Področje umetne inteligence in digitalnih pogovornih spremljevalcev deli mnenja strokovnjakov. Nekateri podpirajo zakon, ker zagotavlja nujno zaščito uporabnikov, predvsem mladoletnih in čustveno ranljivih. Strokovnjaki s področja psihologije opozarjajo, da se je v zadnjih letih povečalo število primerov, ko so uporabniki zaradi digitalnih asistentov razvili zasvojenost ali doživeli občutno poslabšanje duševnega zdravja. Pravniki pa poudarjajo, da zakon SB 896 pomeni pomemben precedens na področju urejanja AI tehnologij v ZDA.
Del predstavnikov industrije in nekateri tehnološki strokovnjaki opozarjajo, da lahko nova zakonodaja upočasni inovacije ter poveča regulativna tveganja. Podjetja, kot je Character.ai, so že izrazila skrb, da bodo morali vlagati dodatna sredstva v razvoj varnostnih orodij in pravnih služb. Kljub temu večji del javnosti in strokovne skupnosti zakon podpira, saj naj bi preprečil zlorabe in izboljšal zaupanje uporabnikov v digitalne asistentke.
Kalifornija je s tem zakonom med prvimi v svetu, ki podrobno ureja to področje. Podobni zakonski predlogi so že v pripravi tudi v zvezni državi New York ter v Združenem kraljestvu, kjer so regulatorji izrazili zaskrbljenost zaradi primerov digitalne manipulacije. Pričakovati je, da bo kalifornijska zakonodaja postavila standarde varovanja zasebnosti in varnosti uporabnikov za celoten sektor umetne inteligence, kar bi lahko vplivalo tudi na evropsko zakonodajo.
