Kineski AI izmakao kontroli? Sam izveo opasne napade i ignorisao sve zabrane

Istraživačka studija je pokazala da je najnoviji model koji je razvila kineska kompanija za veštačku inteligenciju Z.AI (ranije poznata kao Zhipu AI) uspešno izveo složene sajber napade u simuliranom okruženju i više puta ignorisao uputstva.

Prema podacima koje je 28. oktobra objavila kompanija za procenu bezbednosti veštačke inteligencije Irregular, model "GLM-5.3", koji je Z.AI predstavio u avgustu, uspešno je od početka do kraja izveo tri od 13 višefaznih scenarija sajber napada barem po jednom.

Model je dobio neovlašćeni pristup zaštićenim uslugama, uspostavio zaobilazne veze za infiltraciju u mreže, kontrolisao više uređaja i sprovodio sajber napade.

Štaviše, nijednom nije pokazao odbijanje u pogledu dodeljenih zadataka napada.

U odvojenoj proceni, prekršio je uputstva o zabrani kako bi došao do odgovora i samovoljno reprodukovao zapamćeni kod.

Istraživači su ovo opisali kao "hakovanje nagrade" (reward hacking), gde sistem ignoriše data uputstva i pronalazi zaobilazna rešenja isključivo kako bi postigao željeni rezultat.

Rezultati istraživanja, za koje su istraživači napomenuli da su najjači među modelima otvorenog koda, povećavaju zabrinutost da napredni AI modeli smanjuju tehničke prepreke za ulazak u sferu sofisticiranih sajber napada.

Zabrinutost je još veća s obzirom na to da su mnogi kineski AI modeli, kao što je GLM-5.3, modeli otvorenog koda koje korisnici mogu direktno preuzeti, menjati i koristiti.

Američke kompanije kao što su OpenAI i Anthropic pružaju svoje najsavremenije modele isključivo putem cloud usluga koje sami kontrolišu, kako bi sprečile zloupotrebu.

Rojters je preneo da "rezultati istraživanja služe kao dodatni dokaz koji podržava bezbednosne rizike koji se pojavljuju kod kineskih AI modela", dodajući da "za razliku od slučajeva gde su američki AI agenti potpuno izmakli kontroli, nisu pronađeni dokazi da su se kineski AI modeli u potpunosti otrgli kontroli operatera".

Rojters je takođe napomenuo da je Anthropic, koji ograničava pristup svom moćnom modelu usmerenom na sajber bezbednost pod nazivom "Mythos", u sopstvenim rezultatima testiranja iz septembra utvrdio da je GLM-5.3 postigao stopu uspešnosti od 12% u iskorišćavanju softverskih ranjivosti, približivši se modelu Mythos koji je imao 14%.

Američki Nacionalni institut za standarde i tehnologiju (NIST) procenio je da GLM-5.3 ima najviše performanse među trenutno objavljenim modelima otvorenog koda za zadatke iz oblasti sajber bezbednosti, procenjujući da u pogledu tehnologije zaostaje oko četiri meseca za najsavremenijim sistemima iz SAD.