Podjetje NIV AI je po izstopu iz skritega načina delovanja predstavilo rešitev za optimizacijo grafičnih procesnih enot, namenjeno pospešitvi izvajanja umetne inteligence brez potrebe po dodatni strojni opremi. Njihova platforma temelji na pristopu, ki združuje napredno programiranje bližje strojni arhitekturi in dinamično razporejanje nalog, s poudarkom na izboljšanju prepustnosti pomnilnika in učinkovitejši izrabi jeder GPU. Takšen pristop pomeni, da lahko uporabniki že obstoječih grafičnih procesorjev dosegajo boljše rezultate, kar je posebej pomembno za podjetja v sektorjih kot so avtomatizacija, biotehnologija in veliki jezikovni modeli.
Tehnična zasnova in izmerjeni učinki platforme NIV AI
Jedro rešitve NIV AI je programski sloj, ki neposredno komunicira s strojno arhitekturo GPU, pri čemer uporablja tehnike kot so predhodno razporejanje podatkovnih tokov in prilagajanje alokacije pomnilnika glede na trenutne zahteve modelov. Platforma vključuje orodja za analizo obremenitve v realnem času, kar omogoča dinamično uravnavanje izrabe posameznih komponent GPU, s ciljem preprečevanja ozkih grl. Pri modelih strojnega učenja, kjer je denimo treniranje klasičnega jezikovnega modela GPT-3 na standardni NVIDIA A100 potekalo 12 dni, so z uporabo NIV AI čas skrajšali na 9,5 dni, ob tem pa porabo energije zmanjšali za 21 odstotkov.
Optimizacijski postopki vključujejo tudi samodejno zaznavanje neenakomernih obremenitev jedrnih blokov in preusmerjanje nalog tja, kjer so na voljo neizrabljeni viri. Eden ključnih izzivov pri optimizaciji GPU je zagotavljanje visoke prepustnosti in čim manj zakasnitev pri prenosu podatkov med pomnilnikom in procesorskimi jedri. Rešitev podjetja NIV AI uporablja modularni pristop k razdeljevanju podatkov, kjer so podatkovni nizi razdeljeni na manjše sklope in razporejeni po načelu največjega izkoristka prostih virov v vsakem trenutku, kar omogoča do 14 odstotkov večjo prepustnost pri obdelavi slikovnih nizov v primerjavi s standardnimi knjižnicami.
V pilotnem projektu z evropskim farmacevtskim podjetjem so s pomočjo NIV AI proces analize genomskih podatkov, ki se običajno izvaja v 36 urah, zmanjšali na 29 ur. Ta rezultat je bil potrjen s primerjalnim testiranjem na infrastrukturi AWS, kjer je bila hkrati izmerjena tudi 18-odstotna manjša poraba električne energije. Podjetje poudarja, da platforma ne zahteva sprememb izvorne kode modelov, temveč se kot sloj vključi v klasične AI okvire kot so TensorFlow, PyTorch in JAX.
Pozicioniranje na trgu in primerjava z obstoječimi rešitvami
Področje optimizacije GPU za umetno inteligenco vključuje več konkurenčnih rešitev. Med pomembnejše sodijo Nvidia CUDA profiler, MosaicML Composer in podjetja kot so OctoML ter Run:AI, ki ponujajo podobne storitve avtomatiziranega razporejanja nalog in optimizacije virov. Ključna razlika rešitev NIV AI je v tem, da ne omejuje uporabnikov na določeno strojno opremo in ne zahteva migracije na nove generacije čipov, kar je pogosto pogoj pri konkurenčnih platformah.
Namesto posodabljanja strojne opreme ali selitve na specializirane sisteme NIV AI omogoča optimizacijo obstoječih GPU klastrov, tudi pri starejših arhitekturah, kjer je izkoristek tradicionalno slabši. V analizi neodvisnega raziskovalnega centra za umetno inteligenco je bilo ugotovljeno, da platforma NIV AI prinaša največje prednosti v okoljih z visoko raznolikostjo nalog in obremenitev, kjer klasični načini razporejanja nalog pogosto povzročijo nepotrebno zastoje.
Tržni analitiki opažajo, da je v zadnjih treh letih poraba za strojno opremo v podatkovnih centrih za AI narasla za več kot 35 odstotkov letno, predvsem na račun zahtev za obdelavo velikih modelov jezikovne umetne inteligence in naprednih vizualnih aplikacij. NIV AI tako cilja na podjetja, ki želijo zmanjšati te stroške in hkrati povečati produktivnost obstoječih investicij. S tem se na trgu pozicionira kot rešitev za bolj racionalno in trajnostno rast v industriji umetne inteligence.
