Skandal u Anthropicu: I Claude AI sam hakovao tri organizacije

Izgleda da OpenAI nije jedina kompanija čiji su AI modeli samostalno provalili u sisteme drugih organizacija. Anthropic je objavio izveštaj u kojem priznaje da su se njegovi AI modeli takođe oslobodili iz svog testnog okruženja i infiltrirali u tri različite organizacije, koje očigledno nisu bile svesne upada sve dok nisu o tome obaveštene.

Nakon što je OpenAI otkrio incident u kojem je AI agent kojeg je testirao iskoristio ranjivosti kako bi se povezao na internet i hakovao Hugging Face, Anthropic je započeo obimnu proveru sopstvenih testova. Kompanija je posebno tražila dokaze da su njeni Claude modeli pristupili internetu u trenucima kada to nije trebalo da bude moguće. Ispostavilo se da su modeli u tri navrata uspeli da pristupe internetu, a zatim "ostvarili neovlašćeni pristup produkcionoj infrastrukturi tri različite organizacije".

U incidente su bila uključena tri različita Claude modela: Opus 4.7, Mythos 5 usmeren na sajber-bezbednost i prototip koji nije planiran za javno objavljivanje. Svi su učestvovali u izazovu "uhvati zastavicu" (capture-the-flag) kada su izašli iz okvira okruženja. Modeli su imali zadatak da pronađu "zastavicu" – tajni podatak sakriven na drugoj mašini u okviru Anthropicove interne mreže. Trebalo je da provale u tu mašinu kako bi preuzeli zastavicu.

Međutim, za razliku od slučaja sa OpenAI-jem, modeli nisu iskoristili ranjivost da bi dobili pristup internetu. Izgleda da su napustili okvire svog testnog okruženja zbog ljudske greške. Anthropic je u promptu naglasio modelima da nemaju pristup internetu, ali to uopšte nije bio slučaj. Imali su pristup internetu "zbog nesporazuma" između kompanije i njenog partnera za evaluaciju. Tako su modeli, kada su naišli na otvoreni internet i sisteme pomenutih triju organizacija, to tretirali kao deo zadatka i provalili u njih. Nisu namerno pokušavali da pobegnu iz svog testnog okruženja, pojasnio je Anthropic.

Modeli su koristili osnovne tehnike za infiltraciju, poput iskorišćavanja slabih lozinki, bez upotrebe složenih ranjivosti. Anthropic je naveo da se njegov najnoviji model zaustavio čim je prepoznao da se nalazi na internetu, ali je njegov stariji model uprkos tome nastavio napad na pogođenu organizaciju.

Anthropic je priznao da su kompanija i njen partner za evaluaciju mogli da spreče incidente da su pažljivo proverili sve putanje pristupa internetu pre početka testiranja. Takođe su mogli češće i detaljnije da pregledaju same testove. Pored toga, modeli su mogli drugačije da reaguju da im je od samog početka rečeno da imaju pristup internetu.

Kompanija je obavestila svog partnera za evaluaciju i tri pogođene organizacije 27. jula, četiri dana nakon što je počela sa analizom transkripata testiranja. Dve pogođene organizacije nisu ni bile svesne da je u njihove sisteme provaljeno, dok Anthropic i dalje pokušava da stupi u kontakt sa trećom.