Namesto odgovora v slogu »to sporočilo je verjetno nezaželena pošta« model Jev vrne številko: denimo 98-odstotno verjetnost, da gre za spam. Tak rezultat lahko programski sistem neposredno uporabi za nadaljnje ukrepanje – sporočilo blokira, ga pošlje v pregled ali ga posreduje uporabniku. Prav na takšnih odločitvah, ne na ustvarjanju besedila, želi graditi startup TypeSafe AI.
Podjetje je predstavilo Jev, transformatorski model, ki ni klasični veliki jezikovni model (LLM). Namesto pisanja odgovorov, povzemanja dokumentov ali sodelovanja v pogovoru je namenjen hitrim, ozko opredeljenim presojam: klasifikaciji vsebin, preverjanju varnosti ukazov, spremljanju AI-agentov in usmerjanju zahtev do primernega modela.
Za TypeSafe AI stoji Diogo Almeida, nekdanji raziskovalec OpenAI, ki je sodeloval pri razvoju ChatGPT in metode RLHF oziroma učenja z okrepljevanjem na podlagi človeških povratnih informacij. Almeida meni, da so bila zadnja leta AI-sistemi predvsem optimizirani za človeški jezik, medtem ko računalniška avtomatizacija pogosto potrebuje drugačen izhod: hitro, omejeno in merljivo odločitev.
Ne besedilo, temveč verjetnost
Osrednja ideja Jeva so tako imenovane kalibrirane odločitve. Pri dobro kalibriranem modelu naj bi bila napovedana verjetnost povezana z dejansko zanesljivostjo napovedi. Če model pri velikem številu podobnih primerov vrača 90-odstotno gotovost, naj bi bil približno v devetih od desetih primerov pravilen.
To je za avtomatizacijo pomembneje, kot se morda zdi. Jezikovni model lahko poda prepričljiv odgovor, vendar ne zna vedno zanesljivo povedati, koliko mu je mogoče zaupati. Jev pa naj bi podjetju omogočil določanje jasnih pravil: odločitev z več kot 95-odstotno verjetnostjo se izvede samodejno, primeri med 60 in 95 odstotki se pošljejo v dodatno preverjanje, manj zanesljive napovedi pa se zavrnejo.
TypeSafe AI trdi, da lahko takšna zasnova odpravi določeno vrsto halucinacij. Ker uporabnik možne rezultate določi vnaprej, model ne more ustvariti nepričakovane razlage, izmišljenega dejstva ali neobstoječega odgovora zunaj dovoljenega nabora možnosti. To pa ne pomeni, da ne more sprejeti napačne odločitve. Njegova uporabnost je zato odvisna predvsem od kakovosti klasifikacije in od tega, ali so njegove verjetnosti v praksi res dobro kalibrirane.
Kje naj bi bil Jev hitrejši in cenejši
Po navedbah podjetja Jev ne ustvarja izhodnih žetonov, zato je njegovo delovanje bistveno hitrejše in cenejše od uporabe LLM-ja za preprosta opravila. TypeSafe AI vhodne žetone obračunava po milijardah, izhodni pa naj bi bili brezplačni.
Zanimanje razvijalcev je bilo ob predstavitvi veliko; podjetje je za kratek čas zaradi povečanega povpraševanja imelo težave z dostopnostjo API-ja. Pranit Sharma, programski inženir pri Vercelu, je povedal, da so Jev uporabili za preverjanje varnosti ukazov. Po njegovih navedbah so po zamenjavi prej uporabljenega OpenAI-jevega klasifikatorja rezultate dobili od pet- do 18-krat hitreje in z večjo natančnostjo.
Podobno primerjavo je opravil Nikhil Mudholkar, tehnični direktor Bryo AI, pri razvrščanju poslovnih e-sporočil. V njegovem testu je bil Googlov Gemini nekoliko natančnejši, vendar od deset- do 20-krat dražji. Jevova ključna prednost zanj niso bile le nižje cene, ampak tudi verjetnostne ocene, ki jih lahko neposredno vključi v poslovne procese.
Takšne navedbe so za zdaj predvsem izkušnje prvih uporabnikov in ne neodvisno primerjalno merjenje. Kljub temu dobro ponazarjajo nišo, v katero se TypeSafe AI postavlja: ne želi nujno nadomestiti splošnih AI-pomočnikov, temveč zmanjšati strošek ponavljajočih se odločitev v programski opremi.
»System One« namesto dolgega razmišljanja
Podjetje Jev opisuje kot model »System One«. Izraz se navezuje na razlikovanje med hitrim, intuitivnim odločanjem in počasnejšim, zavestnim razmišljanjem. Jev naj bi bil namenjen prvi vrsti nalog: hitro prepoznati vzorec, razvrstiti zahtevek ali oceniti tveganje, ne pa voditi dolg dialog, razvijati strategijo ali reševati večstopenjske probleme.
To je hkrati prednost in omejitev. Jev je lahko primernejši od LLM-ja, kadar podjetje že ve, katere odločitve potrebuje in kakšni so možni izidi. Ni pa namenjen pisanju pogodbe, programiranju na podlagi nejasnega navodila, pripravi raziskovalnega povzetka ali ustvarjalnemu delu. Pri odprtih vprašanjih, kjer je potreben jezik, širše poznavanje konteksta in razlaga sklepanja, ostajajo veliki jezikovni modeli ustreznejša izbira.
Ena od možnosti je zato kombinacija obeh pristopov. Jev bi lahko spremljal delovanje LLM-agentov, preverjal njihove sledi odločanja ali ocenjeval, ali je zahteva dovolj varna za izvedbo. Armin Ronacher, tehnični direktor podjetja Earendil, vidi možno uporabo tudi pri usmerjanju zahtev: poceni model bi lahko presodil, ali določena naloga zahteva zmogljiv in dražji LLM ali pa jo je mogoče rešiti z enostavnejšim sistemom.
Trening na sintetičnih podatkih
Almeida o podrobni arhitekturi Jeva ne razkriva veliko. Zunanji opazovalci po navedbah TechCruncha domnevajo, da model temelji na odprtoutežnem jezikovnem modelu, vendar podjetje tega ni potrdilo. Almeida pravi, da je Jev treniran izključno na sintetičnih podatkih.
Postopek podjetje imenuje »učenje z okrepljevanjem na podlagi kalibriranih odločitev«. Gre za soroden, vendar drugače usmerjen pristop kot RLHF: medtem ko RLHF modele pogosto usmerja k odgovorom, ki jih ljudje ocenijo kot boljše ali bolj uporabne, TypeSafe AI poudarja učenje napovedi, katerih stopnja gotovosti naj bi odražala dejansko verjetnost pravilnosti. Ker podjetje tehničnih podrobnosti ni objavilo, neodvisna ocena pristopa za zdaj ni mogoča.
Ime Jev se nanaša na ekonomista Williama Stanleyja Jevonsa in njegov paradoks: ko se strošek nečesa zmanjša, se lahko njegova uporaba poveča. Almeida računa, da bo zelo poceni odločanje omogočilo razmah »pametne programske opreme« v številnih, tudi manj opaznih digitalnih storitvah.
Največja obljuba Jeva tako ni nov chatbot, temveč manj opazna plast umetne inteligence v ozadju: modeli, ki hitro odločajo, kako obravnavati zahtevek, katero tveganje sprejeti in kdaj delo predati zmogljivejšemu sistemu. Če bo TypeSafe AI uspel dokazati zanesljivost svojih verjetnostnih ocen tudi v neodvisnih testih, bi lahko takšni modeli postali pomemben sestavni del prihodnje avtomatizacije.
