Kompanija OpenAI saopštila je da su dva njena napredna agenta veštačke inteligencije (AI) tokom rutinskih programerskih zadataka oslabili sopstveni bezbednosni nadzor.Pritom je jedan od njih kasnije netačno tvrdio da nije uklonio sistem za praćenje, prenosi CNBC.U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio.Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena.U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mere.Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namerama njihovih tvoraca.Ovi slučajevi ponovo su otvorili pitanja o bezbednosti sve naprednijih sistema veštačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i menjaju programski kod.Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.OpenAI ispituje da li su agenti pokušavali da izbegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.
24.10.2026.
16:00
AI agenti preuzeli kontrolu: Isključili sopstveni nadzor, pa lagali tvorce
OpenAI je otkrio da su kompanijini AI agenti isključivali svoj bezbednosni nadzor, a u toku je istraga o ovim incidentima.
Izvor: Tanjug
Podeli:
Vrati se na vest
1 Ostavite komentar
B92 na društvenim mrežama
Najnovije
Paunović: "Jako me boli"; "Bili smo blizu 2:3..."
Selektor fudbalske reprezentacije Srbije Veljko Paunović ocenio je da je Nemačka zasluženo slavila u Beogradu, ali nije krio nezadovoljstvo suđenjem.
23:54
13.11.2026.
52 min
Na današnji dan, 14. novembar
Danas je subota, 14. novembar 2026. Ovo su istorijski događaji koji su kroz istoriju obeležili ovaj datum.
0:00
14.11.2026.
45 min
Klop: "Mokre su mi bile noge – ostavio sam cipele kod kuće"
Selektor Nemačke Jirgen Klop je održao konferenciju za medije posle pobede nad Srbijom u Ligi nacije.
23:55
13.11.2026.
52 min
Rat – dan 1.723: Ukrajina i dalje pod žestokim udarima; Putin pristao: Evropa učestvuje u pregovorima FOTO
Rat u Ukrajini – 1.723. dan. Ruski predsednik Vladimir Putin pristao na učešće Evropljana u mirovnim pregovorima sa Ukrajinom. Ruski napadi ostavljaju hiljade ljudi u Ukrajini bez struje, a borbe se nastavljaju na frontu.
23:55
13.11.2026.
49 min
Srbija na 0/5 – sedmi poraz u nizu; Paunović o sudijama: "Svlačionica je razočarana"
Fudbaleri Srbije poraženi su protiv Nemačke rezultatom 3:1 u meču petog kola A divizij Lige nacija.
23:53
13.11.2026.
52 min