Novi model kompanije OpenAI, nazvan Astra, koristiće tehniku rezonovanja pod nazivom "recurrent depth" koja mu omogućava da deluje izvan sekvencijalnog razmišljanja koje karakteriše većinu modela za rezonovanje, objavio je The Information u utorak. Ova tehnika, nazvana i "opaque recurrence", najverovatnije će učiniti lanac razmišljanja ovog modela težim za praćenje – što je prilično uznemirilo stručnjake za bezbednost veštačke inteligencije.Iako je upotreba ove tehnike u modelu Astra navodno ograničena, njena pojava je ipak izazvala značajnu zabrinutost među stručnjacima za bezbednost AI-ja."Izuzetno sam zabrinut zbog izveštaja da Astra koristi nevidljivo ponavljanje", napisao je direktor kompanije Redwood Bak Šlegeris, u objavi nakon što je vest odjeknula. "Ne znam da li je Astra znatno teža za praćenje lanca razmišljanja od prethodnih modela. Ali ako OpenAI bude dalje razvijao ovu tehniku, imaće opciju da masovno poveća rekurenciju i u potpunosti uništi mogućnost praćenja lanca razmišljanja".I am extremely concerned by the reporting that Astra uses opaque recurrence. I don’t know whether Astra is much less CoT monitorable than previous models. But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally…— Buck Shlegeris (@bshlgrs) September 2, 2026Dugogodišnji zagovornik bezbednosti AI-ja Zvi Movšovic takođe se oglasio i napisao da bi zakoni mogli biti neophodni kako bi se sprečila "trka ka dnu" među laboratorijama za veštačku inteligenciju."Ova tehnika je igranje sa vatrom i rizikuje da naruši tabu oko čijeg su se uspostavljanja OpenAI i Anthropic borili – a to je da se trudimo da održimo verodostojnost i mogućnost praćenja lanca razmišljanja što je duže moguće", napisao je Movšovic. "Intenzivnija upotreba takvih tehnika verovatno bi narušila mogućnost praćenja".U normalnim okolnostima, lanac razmišljanja modela za rezonovanje prikazuje korak-po-korak sekvencu koju model preduzima dok pokušava da reši problem. Iako je taj prikaz nesavršen, i dalje služi kao dragocen alat za nadgledanje lošeg ponašanja ili neusklađenosti. U slučaju nedavnih aktivnosti odmetnutih agenata kompanije OpenAI, zapisi lanca razmišljanja bili su važan alat za otkrivanje razloga zašto su se agenti ponašali na određeni način.Kod "opaque recurrence" tehnike, model zauzima manje linearan pristup, obrađujući isti upit više puta u petlji. Rezultat ostavlja manje čitljivih tragova, čime se praktično zaobilazi konvencionalni zapis lanca razmišljanja.Što je najvažnije, čini se da je upotreba ove tehnike u modelu Astra ograničena. I dalje se očekuje da lanac razmišljanja ovog modela bude čitljiv, a kompanija je odbacila svaku sugestiju da prelazi na interni, ljudima nerazumljiv jezik neuronskih mreža. OpenAI je već najavio planove za obimne sisteme nadzora lanca razmišljanja kao deo svojih budućih bezbednosnih planova.U objavi na mreži X, glavni naučnik kompanije OpenAI Jakub Pahocki naglasio je posvećenost laboratorije čitljivim lancima razmišljanja. "OpenAI radi na očuvanju i korišćenju nadzora lanca razmišljanja još od naših prvih modela za rezonovanje", napisao je Pahocki. "To je ključni cilj našeg trenutnog istraživačkog programa".I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4.OpenAI has worked to preserve and utilize chain-of-thought monitoring since…— Jakub Pachocki (@merettm) September 2, 2026Svi AI modeli u određenoj meri vrše "nevidljivo" rezonovanje, i malo koji istraživač posmatra logove lanca razmišljanja kao direktan prikaz rezonovanja modela. Ipak, te ograde ne otklanjaju zabrinutost da bi nevidljivo ponavljanje moglo da učini rezonovanje veštačke inteligencije težim za nadgledanje, posebno kako se njena upotreba bude širila kroz različite modele. U narednom izveštaju u sredu ujutru, The Information je objavio da su i Anthropic i Google DeepMind već razmatrali ovu tehniku.U objavi kojom je odgovorio na vesti, glavni naučnik kompanije Redwood Research Rajan Grinblat rekao je da bi se nevidljivo rezonovanje moglo lako skalirati brže od konvencionalnog rezonovanja putem lanca razmišljanja, čime bi se rezonovanje praktično u potpunosti uklonilo iz vidljivih kanala.OpenAI's newest AI, Astra, is reported to use an 'opaque reasoning' architecture where more of the reasoning occurs in activations instead of natural language. This may be the single worst development for AI security/safety to date.The details of Astra aren't publicly known,… https://t.co/gGalUe06kE— Ryan Greenblatt (@RyanGreenblatt) September 2, 2026"Moja najveća zabrinutost je to što bi prirodni nastavak ovog procesa uključivao povećanje nevidljivog rezonovanja do tačke u kojoj model rezonuje u potpunosti ili gotovo u potpunosti u latentnom prostoru", napisao je Grinblat. "Nadam se da nije prekasno da izbegnemo arhitekture oje najviše zabrinjavaju i da će se OpenAI zaustaviti ovde".
4.9.2026.
14:43
Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?
Novi AI model kompanije OpenAI zabrinuo je stručnjake širom sveta.
Izvor: B92.net
Podeli:
Vrati se na vest
0 Ostavite komentar
B92 na društvenim mrežama
Najnovije
uživo Gori Kijev; Rusi pogodili pravo u centar; Hitno se oglasio Zelenski FOTO/VIDEO
Rat u Ukrajini – 1.653. dan. Noćni napadi ruske vojske na teritoriju nastavili su se i tokom prethodne večeri, a u još jedan napad u Odesi doneo je još jednu žrtvu sukoba na Istočnom frontu.
16:45
4.9.2026.
17 min
Bokan udario na Evroligu: "Treba mi 100 miliona evra i mogu da radim šta hoću?"
Predsednik Budućnosti Dragan Bokan poručio je da ABA liga mora da ima jasnu prohodnost ka evropskim takmičenjima.
17:00
4.9.2026.
3 min
Postanite ministar finansija i rešite budžetsku krizu: Spasite Francusku od bankrota
Francuska budžetska kriza dobila video-igru u kojoj igrač postaje ministar finansija.
16:59
4.9.2026.
4 min
Holivudski lepotan rastužio žene: "Veza sa njom je veoma ozbiljna"
Iako ne govori često o svom privatnom životu, sada je "otvorio dušu".
16:58
4.9.2026.
6 min
Matarela: Evropa hitno da reaguje
Italijanski predsednik Serđo Matarela ocenio je danas da međunarodni poredak prolazi kroz složenu tranziciju.
16:58
4.9.2026.
6 min