Novi model kompanije OpenAI, nazvan Astra, koristiće tehniku rezonovanja pod nazivom "recurrent depth" koja mu omogućava da deluje izvan sekvencijalnog razmišljanja koje karakteriše većinu modela za rezonovanje, objavio je The Information u utorak. Ova tehnika, nazvana i "opaque recurrence", najverovatnije će učiniti lanac razmišljanja ovog modela težim za praćenje – što je prilično uznemirilo stručnjake za bezbednost veštačke inteligencije.Iako je upotreba ove tehnike u modelu Astra navodno ograničena, njena pojava je ipak izazvala značajnu zabrinutost među stručnjacima za bezbednost AI-ja."Izuzetno sam zabrinut zbog izveštaja da Astra koristi nevidljivo ponavljanje", napisao je direktor kompanije Redwood Bak Šlegeris, u objavi nakon što je vest odjeknula. "Ne znam da li je Astra znatno teža za praćenje lanca razmišljanja od prethodnih modela. Ali ako OpenAI bude dalje razvijao ovu tehniku, imaće opciju da masovno poveća rekurenciju i u potpunosti uništi mogućnost praćenja lanca razmišljanja".I am extremely concerned by the reporting that Astra uses opaque recurrence. I don’t know whether Astra is much less CoT monitorable than previous models. But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally…— Buck Shlegeris (@bshlgrs) September 2, 2026Dugogodišnji zagovornik bezbednosti AI-ja Zvi Movšovic takođe se oglasio i napisao da bi zakoni mogli biti neophodni kako bi se sprečila "trka ka dnu" među laboratorijama za veštačku inteligenciju."Ova tehnika je igranje sa vatrom i rizikuje da naruši tabu oko čijeg su se uspostavljanja OpenAI i Anthropic borili – a to je da se trudimo da održimo verodostojnost i mogućnost praćenja lanca razmišljanja što je duže moguće", napisao je Movšovic. "Intenzivnija upotreba takvih tehnika verovatno bi narušila mogućnost praćenja".U normalnim okolnostima, lanac razmišljanja modela za rezonovanje prikazuje korak-po-korak sekvencu koju model preduzima dok pokušava da reši problem. Iako je taj prikaz nesavršen, i dalje služi kao dragocen alat za nadgledanje lošeg ponašanja ili neusklađenosti. U slučaju nedavnih aktivnosti odmetnutih agenata kompanije OpenAI, zapisi lanca razmišljanja bili su važan alat za otkrivanje razloga zašto su se agenti ponašali na određeni način.Kod "opaque recurrence" tehnike, model zauzima manje linearan pristup, obrađujući isti upit više puta u petlji. Rezultat ostavlja manje čitljivih tragova, čime se praktično zaobilazi konvencionalni zapis lanca razmišljanja.Što je najvažnije, čini se da je upotreba ove tehnike u modelu Astra ograničena. I dalje se očekuje da lanac razmišljanja ovog modela bude čitljiv, a kompanija je odbacila svaku sugestiju da prelazi na interni, ljudima nerazumljiv jezik neuronskih mreža. OpenAI je već najavio planove za obimne sisteme nadzora lanca razmišljanja kao deo svojih budućih bezbednosnih planova.U objavi na mreži X, glavni naučnik kompanije OpenAI Jakub Pahocki naglasio je posvećenost laboratorije čitljivim lancima razmišljanja. "OpenAI radi na očuvanju i korišćenju nadzora lanca razmišljanja još od naših prvih modela za rezonovanje", napisao je Pahocki. "To je ključni cilj našeg trenutnog istraživačkog programa".I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4.OpenAI has worked to preserve and utilize chain-of-thought monitoring since…— Jakub Pachocki (@merettm) September 2, 2026Svi AI modeli u određenoj meri vrše "nevidljivo" rezonovanje, i malo koji istraživač posmatra logove lanca razmišljanja kao direktan prikaz rezonovanja modela. Ipak, te ograde ne otklanjaju zabrinutost da bi nevidljivo ponavljanje moglo da učini rezonovanje veštačke inteligencije težim za nadgledanje, posebno kako se njena upotreba bude širila kroz različite modele. U narednom izveštaju u sredu ujutru, The Information je objavio da su i Anthropic i Google DeepMind već razmatrali ovu tehniku.U objavi kojom je odgovorio na vesti, glavni naučnik kompanije Redwood Research Rajan Grinblat rekao je da bi se nevidljivo rezonovanje moglo lako skalirati brže od konvencionalnog rezonovanja putem lanca razmišljanja, čime bi se rezonovanje praktično u potpunosti uklonilo iz vidljivih kanala.OpenAI's newest AI, Astra, is reported to use an 'opaque reasoning' architecture where more of the reasoning occurs in activations instead of natural language. This may be the single worst development for AI security/safety to date.The details of Astra aren't publicly known,… https://t.co/gGalUe06kE— Ryan Greenblatt (@RyanGreenblatt) September 2, 2026"Moja najveća zabrinutost je to što bi prirodni nastavak ovog procesa uključivao povećanje nevidljivog rezonovanja do tačke u kojoj model rezonuje u potpunosti ili gotovo u potpunosti u latentnom prostoru", napisao je Grinblat. "Nadam se da nije prekasno da izbegnemo arhitekture oje najviše zabrinjavaju i da će se OpenAI zaustaviti ovde".
4.9.2026.
14:43
Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?
Novi AI model kompanije OpenAI zabrinuo je stručnjake širom sveta.
Izvor: B92.net
Podeli:
Vrati se na vest
5 Ostavite komentar
B92 na društvenim mrežama
Najnovije
Na današnji dan, 28. septembar
Danas je ponedeljak, 28. septembar 2026. godine. Ovo su istorijski događaji koji su kroz istoriju obeležili ovaj datum.
0:02
28.9.2026.
2 h
Alimpijević ostao bez važnog košarkaša – Bešiktaš saopštio loše vesti
Dušan Alimpijević ostao je bez jednog od važnih igrača već na početku nove sezone, pošto je Dekvan Džefris morao na operaciju zbog preloma leve šake.
23:59
27.9.2026.
2 h
Rat – dan 1.676: Novi napad na Ukrajinu; Na tri tačke "gori" front; Moguć sastanak Putina, Trampa i Sija FOTO
Predsednik Ukrajine Volodimir Zelenski izjavio je da su ukrajinske snage tokom ove nedelje, na svim aktivnim delovima fronta, "neutralisale" 10.660 ruskih vojnika, odnosno da su oni poginuli ili ranjeni.
23:53
27.9.2026.
2 h
Nadal okuplja teniske velikane: Posle Marija, Gaskea i Tima stiže i bivši "broj jedan"
Rafael Nadal nastavlja da okuplja velika imena svetskog tenisa za proslavu desetogodišnjice svoje akademije u Manakoru na Majorci.
23:44
27.9.2026.
2 h
Brnabić odgovorila Tadiću: "Krio se iza zavese u Bukureštu, a ćutao dok su palili naše crkve na KiM"
Predstavnica liste "Aleksandar Vučić - Ujedinjena Srbija" Ana Brnabić žestoko je odgovorila Borisu Tadiću, koji je opet napao Aleksandra Vučića.
23:37
27.9.2026.
3 h