Varnost umetne inteligence postaja ena ključnih infrastrukturnih tem tehnološkega sektorja. Podjetja namreč generativne modele in avtonomne agente vse pogosteje povezujejo z internimi podatki, poslovnimi procesi, bazami znanja in zunanjimi orodji. To prinaša produktivnost, hkrati pa odpira nov razred napadov, pri katerih tarča ni le informacijski sistem, ampak tudi način, kako model razume navodila in sprejema odločitve.
V takšnem okolju je ameriški startup HiddenLayer v krogu serije B zbral 100 milijonov dolarjev. Podjetje razvija varnostna orodja za modele umetne inteligence, agente in delovne tokove, sredstva pa naj bi namenilo predvsem širitvi prodaje, distribucije, raziskovalnih in inženirskih ekip ter vstopu na evropski in širši trg EMEA.
Investicijski krog je vodil Delta-v Capital, sodelovali pa so Ten Eleven Ventures, Morgan Stanley, Microsoftov sklad M12, Booz Allen Hamilton in drugi vlagatelji.
Zakaj postaja varnost umetne inteligence nujna
Klasična kibernetska varnost se večinoma osredotoča na omrežja, naprave, uporabniške račune, aplikacije in podatke. Pri sistemih umetne inteligence pa se napadalna površina širi še na modele, njihove podatkovne vire, pozive oziroma navodila, priključena orodja in odločitve avtonomnih agentov.
Ena najbolj izpostavljenih groženj je vbrizgavanje navodil, znano kot prompt injection. Pri takem napadu napadalec modelu podtakne zlonamerno ali zavajajoče besedilo, zaradi katerega ta prezre prvotna pravila, razkrije podatke, spremeni prioritete ali izvede nezaželeno dejanje.
Predstavljajmo si agenta za podporo strankam, ki ima dostop do naročil, dokumentacije in sistema za vračila. Če agent naleti na vsebino z navodilom, naj zanemari varnostna pravila ter odobri vračilo ali razkrije interne podatke, lahko napačno interpretira zlonameren vnos kot legitimno zahtevo. Tveganje je še večje, kadar ima agent možnost uporabljati zunanja orodja, pošiljati elektronsko pošto, dostopati do baz podatkov ali izvajati plačila.
Tu se varnostni problem razlikuje od klasičnega vdora. Napadalcu ni nujno treba pridobiti skrbniškega dostopa do sistema. Včasih zadošča, da model prepriča, naj sam izvede dejanje, ki ga ne bi smel.
Po podatkih Gartnerja naj bi podjetja letos za izdelke, namenjene zaščiti orodij umetne inteligence, porabila 2,83 milijarde dolarjev, kar predstavlja 83-odstotno rast glede na leto 2025. Analitska hiša za prihodnje leto napoveduje skoraj 4,78 milijarde dolarjev porabe. To kaže, da se AI varnost iz nišnega področja premika v osrednji del korporativne IT-infrastrukture.
HiddenLayer stavi na zaščito modelov, agentov in dobavne verige
HiddenLayer ponuja izdelke za odkrivanje sistemov umetne inteligence, zaščito med delovanjem, simulacijo napadov in zaščito dobavne verige. Njegov cilj ni zgolj preveriti, ali je nek model ranljiv pred uvedbo, temveč spremljati tveganja tudi takrat, ko model ali agent že deluje v produkcijskem okolju.
Zaščita med delovanjem oziroma runtime protection pomeni nadzor nad tem, kaj se dogaja v času izvajanja sistema. V praksi to lahko vključuje spremljanje vhodov v model, preverjanje izhodov, nadzor uporabe orodij, zaznavanje nenavadnih vzorcev in omejevanje dejanj, ki odstopajo od dovoljenih pravil. Podoben koncept poznamo pri zaščiti končnih naprav, kjer sistemi zaznavajo in preiskujejo sumljive aktivnosti na računalnikih. HiddenLayer želi to logiko prenesti na modele in agente umetne inteligence.
Izvršni direktor in soustanovitelj Chris Sestito je za TechCrunch primerjal takšno zaščito s tradicionalnimi rešitvami za zaznavanje in odzivanje na incidentih na končnih točkah, le da je prilagojena umetni inteligenci.
Podjetje je svoje prvotne izdelke razširilo za obravnavo vbrizgavanja navodil, manipulacije agentov in zlonamerne uporabe povezanih orodij. Sestito je ob tem poudaril, da jim zaradi prehoda od tradicionalnega strojnega učenja do generativne in agentske UI ni bilo treba korenito spremeniti tehnološke smeri, temveč predvsem razširiti obseg zaščite.
Odprti modeli so tudi tveganje dobavne verige
Poseben segment predstavlja uporaba odprtokodnih modelov in modelov z odprtimi utežmi. Organizacije jih pogosto prenesejo iz javnih repozitorijev, prilagodijo lastnim podatkom in vključijo v interne aplikacije. Toda tako kot pri odprtokodni programski opremi se tudi tukaj pojavlja vprašanje zaupanja: ali datoteka, ki naj bi vsebovala model, res vsebuje to, kar obljublja?
HiddenLayer po navedbah Sestita pregleduje približno 50 različnih formatov oziroma ogrodij datotek za umetno inteligenco. Namen je preveriti, da je uporabljeni model dejansko tisti, za katerega se predstavlja, in da ne vsebuje skrite ali zlonamerne vsebine.
Sestito je opozoril na možnost modelov, ki se predstavljajo kot nekaj drugega, ali na »skrite modele znotraj modelov«. Članek TechCruncha ne navaja natančnih tehničnih metod, s katerimi HiddenLayer zaznava takšne primere, zato bi bilo preuranjeno trditi, da podjetje uporablja določeno tehniko pregleda. Vseeno je problem jasen: modelna datoteka lahko postane ekvivalent kompromitirane programske knjižnice v klasični dobavni verigi.
Za organizacije to pomeni, da preverjanje izvora odprtega modela ni več dovolj. Pomembni postajajo tudi pregled datotek, integriteta modela, nadzor nad različicami, dostopnimi pravicami in morebitnimi spremembami po uvedbi v produkcijo.
Rast prihodkov, velike stranke in močna konkurenca
HiddenLayer navaja, da so se njegovi ponavljajoči letni prihodki v zadnjem letu povečali za več kot desetkrat. Natančnega zneska podjetje ni razkrilo, Sestito pa je dejal, da prihodki dosegajo več deset milijonov dolarjev. Več kot 90 odstotkov rasti naj bi izviralo iz novih strank.
Med najpomembnejšimi sektorji so finančne storitve in velike tehnološke družbe, ki gradijo izdelke na osnovi umetne inteligence. Podjetje ima pogodbe tudi z ameriškim obrambnim ministrstvom in obveščevalno skupnostjo. Navaja tudi nerazkritega vodilnega ponudnika naprednih modelov z več kot 700 milijoni tedenskih uporabnikov, vendar njegove identitete ni potrdilo.
Trg pa je vse bolj tekmovalen. Veliki ponudniki infrastrukture, kot so Microsoft, AWS in OpenAI, lahko del varnostnih funkcij vključijo neposredno v svoje platforme. Na področju varnosti agentov, generativne UI in upravljanja tveganj delujejo tudi specializirani startupi, med njimi Noma in Zenity, ki sta prav tako pritegnila več kot 100 milijonov dolarjev kapitala.
HiddenLayer se skuša razlikovati s širšim pristopom: od pregledovanja modelov in dobavne verige do simulacije napadov ter zaščite sistemov v času njihovega delovanja. Prednost takega pristopa je, da podjetje ni vezano le na en model, enega ponudnika oblaka ali eno vrsto AI-aplikacije. Slabost pa je, da bo moralo dokazati, da lahko ohrani tehnološko prednost pred platformami, ki imajo neposreden dostop do infrastrukture svojih uporabnikov.
Evropska širitev odpira vprašanja tudi za regijo
HiddenLayer je napovedal širitev v Evropo in regijo EMEA, vendar ni razkril, ali to vključuje odpiranje pisarn, lokalno zaposlovanje ali partnersko mrežo. Prav tako ni navedel načrtov posebej za Slovenijo ali širšo jugovzhodno Evropo.
Kljub temu je napoved pomembna za regionalna podjetja. Evropske organizacije pri uporabi umetne inteligence poleg kibernetskih tveganj upoštevajo tudi zahteve glede zasebnosti, zaščite podatkov, upravljanja modelov in skladnosti z evropsko zakonodajo. Rešitve, ki omogočajo pregled nad uporabo modelov, nadzor agentov in zaznavanje nevarnih interakcij, bodo zato verjetno postajale relevantne tudi zunaj največjih tehnoloških trgov.
Za slovska podjetja, ki uvajajo generativno UI v podporo strankam, analitiko, razvoj programske opreme ali interne procese, je ključno vprašanje manj, ali bodo AI-agente uporabljala, in bolj, pod kakšnimi varnostnimi pogoji jih bodo uvedla.
HiddenLayerjeva 100-milijonska investicija je zato več kot le novica o financiranju. Je znak, da se umetna inteligenca premika iz eksperimentalne faze v kritično poslovno infrastrukturo. Z rastjo uporabe bodo rasla tudi tveganja, z njimi pa potreba po sistemih, ki ne varujejo le podatkov in naprav, temveč tudi odločitve, ki jih sprejemajo modeli in avtonomni agenti.
