Mistral AI z modelom Mistral Large 4 (ML4) stavi na evropsko »tretjo pot« med zaprtimi ameriškimi sistemi in vse bolj vplivnimi odprtimi modeli iz Kitajske. Francoski laboratorij je predstavil večmodalni model z okoli bilijonom parametrov, ki naj bi po končanem varnostnem preverjanju dobil tudi javno dostopne uteži.
Napoved je pomembna predvsem zato, ker Mistral poskuša združiti dve na videz nasprotujoči si zahtevi: razvoj zelo zmogljivega modela na ravni največjih globalnih tekmecev ter večjo preglednost, ki jo omogoča objava modelnih uteži. Za Evropo, ki si prizadeva za večjo tehnološko in podatkovno suverenost na področju umetne inteligence, je to ambiciozen poskus oblikovanja alternative velikim ameriškim ponudnikom in kitajskemu ekosistemu odprtih modelov.
Francoski predsednik Emmanuel Macron je tak pristop opisal kot »tretjo pot v umetni inteligenci«.
Kaj pomeni bilijon parametrov?
ML4, ki ga Mistral interno imenuje Le Chonk, ima po navedbah podjetja okoli bilijon parametrov. Parametri so številčne vrednosti, ki jih model med učenjem prilagaja in prek katerih prepoznava vzorce v besedilu, slikah, kodi in drugih podatkih. Več parametrov praviloma pomeni večjo zmogljivost za učenje kompleksnih povezav, vendar samo število ni zagotovilo kakovosti.
Pri primerjavah je zato potrebna previdnost. Meta je na primer pri družini Llama 3 predstavila model s 405 milijardami parametrov, medtem ko podjetja, kot sta OpenAI in Google, natančnih podatkov o številu parametrov svojih najnaprednejših modelov GPT-4 oziroma Gemini praviloma ne razkrivajo. Poleg velikosti na končno uporabnost vplivajo kakovost podatkov, način učenja, arhitektura, dolžina konteksta, sposobnost sklepanja in prilagoditev za konkretne naloge.
Mistral za ML4 še ni objavil neodvisnih primerjalnih rezultatov, zato njegovih zmogljivosti za zdaj ni mogoče zanesljivo postaviti ob bok vodilnim zaprtim ali odprtim modelom. Podjetje pa pričakuje, da bo model sodil v vrh med sistemi z javno dostopnimi utežmi, zlasti zunaj Kitajske.
Za zdaj dostop z varovali, nato objava uteži
ML4 trenutno ni odprt model v polnem pomenu besede. Dostopen je prek javne dostopne točke z varovali, kar pomeni, da uporabniki do njega dostopajo prek storitve, kjer Mistral nadzoruje uporabo modela in lahko omejuje nevarne ali zlonamerne zahteve.
Podjetje namerava uteži objaviti po treh tednih varnostnega testiranja. Uteži so bistveni del naučenega modela: gre za datoteke z vrednostmi, ki nastanejo med učenjem in omogočajo njegovo izvajanje na lastni infrastrukturi. Njihova objava razvijalcem, podjetjem in raziskovalcem omogoča, da model pregledajo, prilagodijo, gostijo sami ter ga uporabljajo v okoljih, kjer podatkov ne želijo pošiljati zunanjemu ponudniku.
To je lahko posebno pomembno za regulirane panoge, kot so finance, javni sektor, zdravstvo in kritična infrastruktura. Organizacije lahko pri lastnem gostovanju bolje nadzorujejo podatke, varnostne politike in skladnost s predpisi. Hkrati pa odprtost prinaša tudi tveganje: model je lažje prilagoditi za legitimne raziskovalne namene, pa tudi za morebitno zlorabo.
Pierre Stock, podpredsednik za znanost pri Mistralu, je za TechCrunch dejal, da bo podjetje v prehodnem obdobju sodelovalo z zaupanja vrednimi partnerji in vladami, da bi zagotovilo uporabo uteži za obrambne in ne zlonamerne namene. Po njegovem mnenju odprte uteži prinašajo tudi prednost preglednosti, saj jih je lažje neodvisno pregledovati in revidirati.
Manj grafičnih procesorjev, a visoke ambicije
Mistral navaja, da je ML4 učil na lastni računski infrastrukturi s 4.000 grafičnimi procesorji Nvidia. Stock trdi, da je to dva- do trikrat manj od kitajskih tekmecev in občutno manj od nekaterih zaprtokodnih laboratorijev.
Tudi te trditve bo treba presojati previdno. Število uporabljenih grafičnih procesorjev samo po sebi ne razkrije celotne cene ali zahtevnosti razvoja. Pomembni so še uporabljeni tipi čipov, čas učenja, količina podatkov, energetska poraba, metode optimizacije in morebitna uporaba specializirane arhitekture.
Kljub temu Mistralov poudarek na učinkovitejšem učenju kaže na širši trend v panogi. Ker razvoj največjih modelov zahteva ogromne finančne in energetske vložke, postaja učinkovitost ključna konkurenčna prednost. Evropski laboratoriji pri dostopu do kapitala, računske infrastrukture in polprevodnikov težko tekmujejo z največjimi ameriškimi in kitajskimi družbami, zato je sposobnost doseganja dobrih rezultatov z manj viri strateškega pomena.
Poudarek na kibernetski varnosti, financah in čipih
Mistral ML4 usmerja v področja, kjer so pomembni zanesljivost, varnost in možnost dela z več vrstami podatkov. Večmodalni model lahko poleg besedila obdeluje tudi druge vsebine, denimo slike, dokumente, diagrame ali tehnične načrte. To je uporabno pri analizi varnostnih incidentov, finančne dokumentacije in kompleksnih inženirskih podatkov.
Med ciljnimi primeri uporabe podjetje navaja kibernetsko varnost, finance in načrtovanje čipov. Zadnje področje je povezano tudi z vlagatelji Mistrala: nizozemski ASML je vodil naložbeno rundo serije C, Samsung pa serijo D, v kateri je bilo podjetje vrednoteno na 21 milijard evrov oziroma približno 24,39 milijarde dolarjev.
Uspeh Mistralove strategije bo zdaj odvisen od dveh stvari: dejanske kakovosti modela in načina, kako bo podjetje uravnotežilo odprtost z varnostjo. Če bo ML4 dosegel primerljive rezultate z vodilnimi modeli ter hkrati omogočil dovolj nadzora za podjetja in javne ustanove, bi lahko postal pomemben gradnik evropskega ekosistema umetne inteligence.
Mistral s tem ne želi biti zgolj ponudnik infrastrukture za izvajanje tujih modelov, temveč laboratorij, ki razvija lastne temeljne modele. Za Evropo je to več kot poslovna ambicija posameznega podjetja: gre za preizkus, ali lahko na področju generativne umetne inteligence razvije lastno, konkurenčno in bolj pregledno alternativo globalnim velikanom.
