## AI v žepu? PrismML stiska velike modele za računalnike in telefone
Napredna umetna inteligenca danes večinoma živi v oblaku: uporabnik pošlje vprašanje, podatki potujejo do oddaljenih strežnikov, model pripravi odgovor in ga pošlje nazaj. Startup PrismML želi ta vzorec obrniti. Njegov novi model Bonsai 2 27B naj bi dovolj zmanjšal zahtevnost velikih jezikovnih modelov, da bi lahko zmogljivo AI poganjali neposredno na osebnem računalniku – in morda tudi na zmogljivejšem telefonu.
To bi lahko pomenilo hitrejše AI pomočnike v aplikacijah, delovanje brez stalne internetne povezave ter predvsem več zasebnosti. Če model deluje na napravi, uporabnikovih dokumentov, pogovorov ali poslovnih podatkov ni nujno pošiljati v oblak.
PrismML je predstavil Bonsai 2 27B, stisnjeno različico Qwen3.8 27B, odprtokodnega jezikovnega modela podjetja Alibaba. Model po navedbah podjetja zasede 5,9 GB, kar pomeni približno devet- do desetkrat manjšo porabo pomnilnika od izvirnika.
Pomembno je poudariti, da velikost modelne datoteke ni edini dejavnik pri lokalnem poganjanju AI. Dejanske zahteve so odvisne tudi od programske opreme, dolžine pogovorov oziroma konteksta in strojne opreme naprave. Kljub temu je zmanjšanje modela na nekaj gigabajtov pomemben korak, saj odpira možnost uporabe večjih modelov zunaj dragih podatkovnih centrov.
## Majhna velikost, skoraj enaki rezultati
PrismML trdi, da Bonsai 2 dosega 98 odstotkov skupnih rezultatov izvirnega modela Qwen na primerjalnih testih. Predhodnik Bonsai, predstavljen marca, je dosegal 95 odstotkov.
Primerjalni testi niso popolna slika dejanske uporabnosti. Že dva modela s podobnimi rezultati na testih se lahko pri pisanju besedil, programiranju, povzemanju dokumentov ali sledenju navodilom razlikujeta. Vseeno je rezultat zanimiv, ker PrismML trdi, da je bistveno zmanjšal model, ne da bi pri tem izgubil večji del njegovih sposobnosti.
V svetu lokalne AI so bili doslej pogosti modeli z okoli sedmimi ali osmimi milijardami parametrov, kot sta Mistral 7B in Llama 3 8B. Bonsai 2 temelji na precej večjem, 27-milijardnem modelu, zato primerjava zgolj po številu parametrov ali velikosti datoteke ni povsem neposredna. Prav v tem je ambicija PrismML: zmogljivosti večjega modela spraviti v velikost, ki je bližje praktični uporabi na uporabniških napravah.
## Ternarne uteži: model se nauči varčevati s prostorom
Ključ do zmanjšanja je pristop, imenovan ternarne uteži. Uteži so poenostavljeno številčne vrednosti, v katerih model med učenjem shrani vzorce in povezave med besedami, podatki ter koncepti.
Pri običajnem zapisu posamezna utež potrebuje 16 bitov podatkovnega prostora. PrismML jih poenostavi na le tri možnosti: pozitivno vrednost (+1), negativno vrednost (−1) ali nič (0).
To si lahko predstavljamo kot zelo poenostavljen zapis: namesto da bi model za vsako podrobnost shranjeval natančno številko, uporablja tri osnovne oznake. Takšna poenostavitev dramatično zmanjša količino podatkov, ki jih je treba shraniti in prenašati. Izziv pa je ohraniti sposobnosti modela – in prav tu želi PrismML dokazati svojo prednost.
## Več zasebnosti in manj odvisnosti od oblaka
Podjetje, ki ga je ustanovila skupina raziskovalcev s Caltecha, vodi profesor Babak Hassibi, strokovnjak za tehnologije stiskanja. PrismML je doslej zbral 22,25 milijona dolarjev semenskega financiranja, med podporniki pa so Khosla Ventures, Cerberus Capital in Caltech.
Svetovalec podjetja Ion Stoica, soustanovitelj Databricksa in direktor laboratorija Sky Computing Lab na UC Berkeley, v lokalnem poganjanju vidi pomembno prednost. Uporabnik bi imel AI neposredno na napravi, brez stroška oddaljenih strežnikov in brez nujnega prenosa podatkov v oblak.
PrismML namerava tehnologijo uporabiti tudi za modele z več sto milijardami parametrov. Če bo podjetju uspelo obdržati zmogljivost ob podobnem stiskanju, bi se lahko meja med “majhnimi lokalnimi” in “velikimi oblačnimi” modeli začela hitro brisati.
Bonsai 2 zato ni pomemben zgolj kot manjša datoteka. Je znak, da bi lahko zmogljiva AI v prihodnje postala bolj osebna, hitrejša in zasebnejša – ter da ne bo nujno vedno oddaljena en klik v oblaku.
