Hakeri vam truju AI asistenta: Novi napad tajno menja pamćenje veštačke inteligencije

Veliki jezički modeli postaju sve bolji u tome da nas zapamte. Bilo da se radi o navikama u kupovini, stilu pisanja ili rokovima na projektima, AI asistenti sve više koriste dugoročnu memoriju kako bi razgovori delovali personalizovanije. 

Međutim, prema najnovijem istraživanju naučnika sa Univerziteta u Novom Meksiku, upravo bi ova funkcija mogla da postane jedna od najvećih bezbednosnih ranjivosti veštačke inteligencije.

Istraživači su demonstrirali novi oblik napada pod nazivom "GhostWriter", koji je sposoban da tajno "ubaci" lažna sećanja u AI agente. Umesto da direktno ukrade informacije, ovaj napad manipuliše onim što AI pamti. To predstavlja suptilnu, ali izuzetno značajnu promenu u sajber-bezbednosti – umesto napada na sam model, hakeri sada ciljaju njegovu memoriju, što može navesti sistem da donosi opasne odluke dugo nakon što je sam napad izvršen.

GhostWriter funkcioniše tako što tiho ubacuje zlonamerne informacije u dugoročnu memoriju AI agenta putem skrivenih upita ili nepouzdanog eksternog sadržaja. Za razliku od dosadašnjih napada koji utiču samo na jedan razgovor, lažna informacija ovde ostaje trajno skrivena. Ona se aktivira tek kasnije, kada AI nesvesno povuče tu "otrovanu" memoriju dok odgovara na neki potpuno legitiman zahtev korisnika.

U praksi, posledice mogu biti ozbiljne. Ukoliko je memorija asistenta kompromitovana, napadač bi mogao da ga izmanipuliše da, na primer, poverljive imejlove iz banke tajno prosledi na tuđu adresu. Takođe, AI bi zbog izmenjenih podataka mogao da zapamti pogrešne kontakt informacije, lažne rokove ili izmišljene činjenice, i to samo zato što je neko uspeo da promeni ono što asistent veruje da je istina.

U eksperimentima sa najsavremenijim AI agentima, GhostWriter je postigao stopu uspešnosti ubacivanja memorije od čak 98%, dok su zlonamerna sećanja kasnije uspešno aktivirana u oko 60% slučajeva. 

Ovi zabrinjavajući podaci sugerišu da današnje memorijske arhitekture još uvek nisu spremne da razlikuju pouzdane informacije od manipulativnih unosa, zbog čega su istraživači već predložili novi odbrambeni okvir AM-Sentry za strožu kontrolu i filtriranje podataka.