Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?

Novi model kompanije OpenAI, nazvan Astra, koristiće tehniku rezonovanja pod nazivom "recurrent depth" koja mu omogućava da deluje izvan sekvencijalnog razmišljanja koje karakteriše većinu modela za rezonovanje, objavio je The Information u utorak. 

Ova tehnika, nazvana i "opaque recurrence", najverovatnije će učiniti lanac razmišljanja ovog modela težim za praćenje – što je prilično uznemirilo stručnjake za bezbednost veštačke inteligencije.

Iako je upotreba ove tehnike u modelu Astra navodno ograničena, njena pojava je ipak izazvala značajnu zabrinutost među stručnjacima za bezbednost AI-ja.

"Izuzetno sam zabrinut zbog izveštaja da Astra koristi nevidljivo ponavljanje", napisao je direktor kompanije Redwood Bak Šlegeris, u objavi nakon što je vest odjeknula. "Ne znam da li je Astra znatno teža za praćenje lanca razmišljanja od prethodnih modela. Ali ako OpenAI bude dalje razvijao ovu tehniku, imaće opciju da masovno poveća rekurenciju i u potpunosti uništi mogućnost praćenja lanca razmišljanja".

Dugogodišnji zagovornik bezbednosti AI-ja Zvi Movšovic takođe se oglasio i napisao da bi zakoni mogli biti neophodni kako bi se sprečila "trka ka dnu" među laboratorijama za veštačku inteligenciju.

"Ova tehnika je igranje sa vatrom i rizikuje da naruši tabu oko čijeg su se uspostavljanja OpenAI i Anthropic borili – a to je da se trudimo da održimo verodostojnost i mogućnost praćenja lanca razmišljanja što je duže moguće", napisao je Movšovic. "Intenzivnija upotreba takvih tehnika verovatno bi narušila mogućnost praćenja".

U normalnim okolnostima, lanac razmišljanja modela za rezonovanje prikazuje korak-po-korak sekvencu koju model preduzima dok pokušava da reši problem. Iako je taj prikaz nesavršen, i dalje služi kao dragocen alat za nadgledanje lošeg ponašanja ili neusklađenosti. U slučaju nedavnih aktivnosti odmetnutih agenata kompanije OpenAI, zapisi lanca razmišljanja bili su važan alat za otkrivanje razloga zašto su se agenti ponašali na određeni način.

Kod "opaque recurrence" tehnike, model zauzima manje linearan pristup, obrađujući isti upit više puta u petlji. Rezultat ostavlja manje čitljivih tragova, čime se praktično zaobilazi konvencionalni zapis lanca razmišljanja.

Što je najvažnije, čini se da je upotreba ove tehnike u modelu Astra ograničena. I dalje se očekuje da lanac razmišljanja ovog modela bude čitljiv, a kompanija je odbacila svaku sugestiju da prelazi na interni, ljudima nerazumljiv jezik neuronskih mreža. OpenAI je već najavio planove za obimne sisteme nadzora lanca razmišljanja kao deo svojih budućih bezbednosnih planova.

U objavi na mreži X, glavni naučnik kompanije OpenAI Jakub Pahocki naglasio je posvećenost laboratorije čitljivim lancima razmišljanja. "OpenAI radi na očuvanju i korišćenju nadzora lanca razmišljanja još od naših prvih modela za rezonovanje", napisao je Pahocki. "To je ključni cilj našeg trenutnog istraživačkog programa".

Svi AI modeli u određenoj meri vrše "nevidljivo" rezonovanje, i malo koji istraživač posmatra logove lanca razmišljanja kao direktan prikaz rezonovanja modela. Ipak, te ograde ne otklanjaju zabrinutost da bi nevidljivo ponavljanje moglo da učini rezonovanje veštačke inteligencije težim za nadgledanje, posebno kako se njena upotreba bude širila kroz različite modele. U narednom izveštaju u sredu ujutru, The Information je objavio da su i Anthropic i Google DeepMind već razmatrali ovu tehniku.

U objavi kojom je odgovorio na vesti, glavni naučnik kompanije Redwood Research Rajan Grinblat rekao je da bi se nevidljivo rezonovanje moglo lako skalirati brže od konvencionalnog rezonovanja putem lanca razmišljanja, čime bi se rezonovanje praktično u potpunosti uklonilo iz vidljivih kanala.

"Moja najveća zabrinutost je to što bi prirodni nastavak ovog procesa uključivao povećanje nevidljivog rezonovanja do tačke u kojoj model rezonuje u potpunosti ili gotovo u potpunosti u latentnom prostoru", napisao je Grinblat. "Nadam se da nije prekasno da izbegnemo arhitekture oje najviše zabrinjavaju i da će se OpenAI zaustaviti ovde".