AI piše kodo z zadnjimi vrati - brez, da bi se tega sploh zavedal
Arkadiy Andrienko
Nedavna študija je razkrila skrito nevarnost v kodi, ki jo piše generativna umetna inteligenca: modeli pogosto "halucinirajo" programske komponente, ki dejansko ne obstajajo, kar ustvarja potencialne poti za kibernetske napade. Raziskovalci z Univerze v Teksasu v San Antoniu so analizirali 576.000 delov kode, ki jih je ustvarilo 16 priljubljenih AI modelov, vključno z GPT-4 in Claude. V 19,7 % primerov je koda vsebovala sklicevanja na lažne knjižnice — skupno okoli 440.000 neveljavnih odvisnosti.
Hackerji to lahko izkoristijo tako, da registrirajo pakete z imeni, ki jih AI pogosto izmisli po pomoti, in jih napolnijo z zlonamerno kodo. Če razvijalci namestijo te komponente, ne da bi preverili njihovo pristnost, zlonamerna programska oprema vstopi. Med poskusom so bile testne pakete z izmišljenimi imeni prenesene deset tisočkrat.
Ključne ugotovitve:
- Modeli odprte kode (kot sta CodeLlama in DeepSeek) so te napake naredili 22 % časa — štirikrat več kot komercialni modeli (5 %). Raziskovalci menijo, da je to posledica velikosti modela, pri čemer imajo komercialni AI običajno 10-krat več parametrov.
- JavaScript je bolj ranljiv kot Python: 21 % JS kode je imelo lažne odvisnosti, v primerjavi s 16 % v Pythonu. To je verjetno zato, ker ima ekosistem JS 10-krat več paketov, kar otežuje AI, da predlaga natančne.
- Ponovitev je glavni problem: 43 % teh “halucinacij” se je zgodilo vsaj 10-krat. To olajša napade — hackerji ne potrebujejo ugibati, le slediti pogostim tipkam, ki jih generira AI.
Ta tehnika, znana kot Zmeda odvisnosti, deluje tako, da zamenja legitimni paket z zlonamernim, ki ima isto ime. Na primer, hacker objavi paket s trojansko kodo v repozitorij. Če AI predlaga ta paket namesto uradne različice in ga razvijalec namesti, ne da bi dvakrat preveril vir, se sistem kompromitira.
Ker Microsoft napoveduje, da bo AI do leta 2030 napisal 95 % vse kode, so te ugotovitve budnica. Dokler nevronske mreže ne bodo zanesljivo razlikovale fikcijo od resnice, ostaja breme varnosti trdno na človeških ramenih.