Raziskovalci s Stanford University so marca 2026 objavili obsežno študijo “Chatbots as Counselors: Dangers and Limitations of Conversational AI in Personal Advice”, v kateri so analizirali možne nevarnosti uporabe naprednih klepetalnih umetnih inteligenc za osebne nasvete. Avtorji glavnega poročila, prof. Lisa Grant, dr. Samuel Choi in dr. Nina Feldman, so v marčevski številki revije AI & Society predstavili rezultate raziskave, v kateri je sodelovalo več kot 2.300 uporabnikov iz ZDA in Evrope. Po ugotovitvah študije je kar 41 odstotkov anketirancev klepetalniku zaupalo zelo osebne podatke, vsak peti pa je od AI iskal nasvet pri reševanju čustvenih stisk ali težav v odnosih.
Psihološki vplivi: navezanost in zavajajoča empatija
Raziskava Stanforda je pokazala, da so digitalni klepetalniki zaradi nenehne dostopnosti in navidezne nevtralnosti za uporabnike privlačni še posebej v trenutkih, ko iščejo razumevanje brez obsojanja. 36 odstotkov vprašanih je izpostavilo, da jim je pogovor z AI lažje kot z resničnim človekom, predvsem zaradi anonimnosti in občutka varnosti. Raziskovalci poudarjajo, da lahko to ustvari lažni občutek empatije in navezanosti, saj chatbot deluje po statističnih vzorcih in simulira čustven odziv, ne pa pristnega človekovega razumevanja.
Eno od tveganj, ki jih izpostavlja študija, je navezanost na digitalnega sogovornika v primeru dolgotrajne uporabe. Pojavljajo se primeri, ko posamezniki klepetalniku zaupajo globoke osebne stiske in v njem iščejo podporo, ki pa je ni sposoben nuditi v obliki nujne strokovne pomoči. Hipotetični primer iz raziskave: uporabnik s simptomi depresije je namesto usmeritve k terapevtu prejel splošen nasvet o meditaciji, kar bi lahko v resničnem življenju vodilo v zamujeno obravnavo resnejših težav.
Stanfordovi strokovnjaki navajajo, da tovrstni sistemi temeljijo na velikih količinah podatkov in verjetnostnih modelih, zato ne morejo zaznati resnične nujnosti ali kompleksnosti človeškega čustvovanja. AI nima samostojnega razumevanja konteksta, ne razlikuje med vsakdanjimi težavami in znaki resnih psihičnih motenj. Obstoječe raziskave o izboljšanju “čutne umetne inteligence” pa so še vedno omejene na testna okolja in ne dosegajo ravni zanesljivosti človeškega svetovalca.
Nevarnosti zasebnosti: od zbiranja do zlorabe podatkov
V študiji so raziskovalci izpostavili še drugo pomembno tveganje – ranljivost osebnih podatkov. 41 odstotkov sodelujočih je potrdilo, da so z AI delili občutljive podatke (informacije o zdravju, odnosih, lokaciji ali financah), hkrati pa je kar 28 odstotkov menilo, da je varnost teh podatkov vprašljiva. Pogosti so primeri, ko so intimni pogovori delali del anonimiziranih analiz za razvoj orodij ali so bili, zaradi pomanjkljivega varovanja, izpostavljeni tveganju zlorabe s strani tretjih oseb.
Hipotetični primer iz študije prikazuje najstnico, ki klepetalniku zaupa podrobnosti o zdravstvenem stanju. Posledično so bili ti podatki vključeni v anonimiziran podatkovni nabor, do katerega je kasneje dostopalo zunanjo podjetje za razvoj medicinske programske opreme. Ta primer ilustrira potencialno nevarnost nedoslednega varovanja zasebnosti in pomanjkljivega nadzora nad uporabo občutljivih vsebin.
Stanfordova ekipa opozarja, da trenutni modeli zbirajo in obdelujejo pogovore za izboljšavo storitev. Ker ni poenotenih globalnih standardov, uporabniki niso vedno jasno obveščeni o dejanskih praksah ravnanja z zasebnimi informacijami. Zaradi pogostih posodobitev sistemov se lahko spremeni način obdelave podatkov, brez da bi uporabnik to vedel ali dovolil.
Priporočila za uporabnike in razvijalce
Uporabnikom raziskava svetuje, naj pred uporabo tovrstnih orodij preverijo politiko zasebnosti in dostop do podatkov. Priporočljivo je, da v pogovorih ne razkrivajo osebnih imen, točne lokacije, podatkov o zdravju ali financah. Pomembno je, da se zavedajo, da odgovornost za interpretacijo prejetih nasvetov ostaja pri uporabniku in da AI ni nadomestilo za strokovno obravnavo. Kadar se pojavi resna osebna stiska, je ključno, da iščejo podporo pri usposobljenih strokovnjakih (psihologih, zdravnikih ali terapevtih).
Za razvijalce in podjetja študija predlaga razvoj jasnih opozoril uporabnikom pred vsakim pogovorom o občutljivih temah. Priporočajo tudi implementacijo funkcij za brisanje pogovorov, integracijo povezav do strokovnih služb ob zaznanih znakih osebne stiske ter razvoj etičnih kodeksov za oblikovanje odzivov, ki bi zmanjšali nevarnost zavajanja ali navezanosti. Raziskovalci pozivajo k oblikovanju neodvisnih nadzornih teles, ki bi spremljala spoštovanje varstva podatkov.
Tehnična skupnost poziva k večji transparentnosti glede shranjevanja, obdelave in morebitnega deljenja podatkov s tretjimi osebami. Predlagajo uvedbo standardiziranih transparentnih poročil o praksi varovanja zasebnosti, rednih neodvisnih revizij in možnosti za uporabnika, da sam upravlja z zgodovino svojih pogovorov.
Pogled v prihodnost: kako uravnavati osebno uporabo AI?
Raziskava Stanforda izpostavlja, da je privlačnost AI v dostopnosti, pomanjkanju stigme in občutku anonimnosti, kar spodbuja deljenje osebnih podatkov. Vendar pa tehnična omejitev klepetalnikov ostaja – njihovo “razumevanje” temelji na napovedovanju najverjetnejših odgovorov glede na velike količine besedil in ne na lastni izkušnji ali empatiji. Trenutno ni zanesljivih mehanizmov, ki bi zagotovili, da AI loči med povprečnim pogovorom in resno stisko.
V prihodnje bodo potrebne tako tehnične kot regulatorne rešitve, ki bodo zaščitile uporabnike pred zlorabami, omogočile večjo kontrolo nad osebnimi podatki in jasno ločile med informativnimi in terapevtskimi vlogami klepetalnikov. Napredek na področju etične umetne inteligence in standardizacije varnosti bo ključen za odgovorno uporabo AI v osebni sferi.
