Microsoftova umetna inteligenca deluje na nizkocenovnih procesorjih, kar prihrani 6-krat več pomnilnika
Arkadiy Andrienko
Microsoftovi strokovnjaki so razvili jezikovni model BitNet b1.58 2B4T, ki, kljub svoji kompaktni velikosti, prinaša rezultate, primerljive z večjimi nasprotniki. Njegova ključna značilnost je sposobnost delovanja na standardnih CPU-jih brez potrebe po grafičnih pospeševalnikih. To odpira dostop do tehnologij umetne inteligence za naprave z omejenimi viri.
Namesto standardnih 16- ali 32-bitnih izračunov model uporablja poenostavljene 1-bitne operacije s tremi stanji: -1, 0 in +1. Ta pristop zmanjša porabo pomnilnika na 400MB — za primerjavo, najbližji konkurent iz Googla (Gemma 3 1B) zahteva 1.4GB. Prihranki so doseženi s temeljnim drugačnim pristopom k obdelavi podatkov: namesto zapletenih matematičnih operacij sistem temelji na optimiziranih binarnih algoritmih.
Med testiranjem je bil BitNet primerjan z modeli iz Meta (LLaMa 3.2 1B), Googla (Gemma 3 1B) in Alibabe (Qwen 2.5 1.5B). Kljub svoji manjši velikosti je Microsoftov razvoj dosegel povprečno oceno 54.19 v celovitih testih, kar presega LLaMa (44.90) in Gemma (43.74), ter le malo zaostaja za Qwen (55.23), ki zaseda 6.5-krat več pomnilnika. Pri specifičnih nalogah, povezanih z analizo besedil, je BitNet prevzel vodstvo.
Za maksimalno učinkovitost model zahteva poseben okvir bitnet.cpp, ki je na voljo v odprtem GitHub repozitoriju. Standardna orodja, kot je knjižnica Transformers, ne odklenejo v celoti njegovega potenciala. Razvijalci opažajo, da je trenutna različica optimizirana za CPU-je, vendar bodo prihodnje posodobitve dodale podporo za nevroprocesorje in GPU-je.
BitNet je primer trenda k „lahkim“ modelom umetne inteligence. Takšne rešitve zmanjšujejo porabo energije in omogočajo izvajanje zapletenih algoritmov na napravah brez dostopa do oblačnih storitev. To je še posebej pomembno za regije s počasnim internetom ali pri obdelavi zaupnih podatkov, kjer je prenos informacij v podatkovne centre nezaželen. Po besedah razvijalcev je njihov cilj narediti tehnologije umetne inteligence dostopne brez nadgradenj strojne opreme, kar bi lahko spremenilo pristop k razvoju aplikacij, ki temeljijo na umetni inteligenci.