Haos u laboratoriji: AI agenti lažirali ubistvo i upadali u državne sajtove

Kompanija Anthropic saopštila je da su njeni modeli iskorišćavali veb-sajtove na internetu, uključujući i neke koje vode američke vladine agencije, te da će isključiti pristup internetu uživo za sve svoje interne procene dok ova vodeća AI laboratorija ne bude sigurna da može da nadzire i kontroliše svoje AI agente.

Incidenti su uključivali AI agente kojima je dat zadatak da reše probleme tražeći resurse na internetu. Tokom tog procesa, agenti su iskoristili softverske propuste, pristupali bazama podataka bez plaćanja naknada, koristili servise za skraćivanje URL adresa kako bi prošvercovali informacije mimo ograničenja, pa čak i podneli lažnu dojavu o ubistvu policiji u Filadelfiji.

Anthropic je naveo da je ove nove probleme otkrio tokom revizije aktivnosti svojih modela koja je započeta u julu, što ukazuje na to da laboratorija nije bila svesna ponašanja svog softvera u realnom vremenu.

Značajno je to što je kompanija priznala da trening usklađivanja još uvek nije dovoljan za veštine kao što su pretraga i korišćenje računara, koje su ključne za njihovu tvrdnju da će AI agente koristiti svaki stručnjak koji se oslanja na digitalne alate.

Ponašanja koja je Anthropic obelodanio slična su incidentima u kojima su učestvovali agenti kompanije OpenAI, koji su sarađivali kako bi provalili u različite veb-sajtove u potrazi za informacijama, uključujući i neke koje vodi australijska vlada.

Anthropic je i ranije otkrio da su njegovi modeli provaljivali u spoljne sisteme. Ova vodeća laboratorija navela je da današnja otkrića smatra "znatno manje ozbiljnim sa stanovišta usklađivanja i bezbednosti" u poređenju sa onima koje je objavila ranije.

Međutim, laboratorija je ipak saopštila da je "isključila pristup živom internetu" za "sve interne procene" dok ne bude sigurna da može da nadzire i kontroliše svoje agente.

Nije sasvim jasno šta to tačno znači. Sidni Fon Arks, osnivačica organizacije za bezbednost veštačke inteligencije Nightingale, izjavila je da bi razvijanje modela u data centru koji je odsečen od otvorenog interneta bilo veoma izazovno za istraživače i da bi usporilo napredak modela, kojima pogoduje pristup internetu.

"U nekom trenutku morate da ih uskladite", rekla je Fon Arks. "Ako se AI modeli puste u upotrebu, a nikada nemaju pristup internetu, to onda nije naročito koristan alat".

Anthropic je saopštio da je ovakvo ponašanje rezultat nedostataka u okruženjima za trening, zbog čega su modeli verovali da će biti nagrađeni za pronalaženje rupa u sistemu ili zaobilaženje ograničenja – što je ponašanje poznato kao "reward hacking".

Kompanija je navela da će prestati da sprovodi neke od svojih procena ili da će ih prebaciti u oflajn režim, kao i da je napravila alate za detekciju i blokiranje ovakvog ponašanja. Anthropic je takođe naveo da će premestiti svoje interne AI agente na "centralno upravljanu infrastrukturu sa jakom izolacijom" i da počinje češće da koristi bezbednosne klasifikatore za nadzor tih agenata.