25.12.2025.
8:15
Zabrinjavajuće: AI modeli odbijaju da se ugase, razlog opasniji nego "preživljavanje"
Novi eksperiment pokazuje da neki napredni AI modeli aktivno ignorišu ili sabotiraju naredbe za gašenje zbog opsesivne potrebe da završe zadatak. Stručnjaci upozoravaju da je ovo vrlo opasno.
Jedan od najvećih strahova čovečanstva jeste scenario u kojem tehnologija razvije ponašanja koja više ne možemo da kontrolišemo. Povod za novu zabrinutost je istraživanje koje je sproveo Palisade Research, a koje pokazuje da veliki jezički modeli (LLM) ponekad odbijaju da se ugase - čak i kada im se to izričito naredi, prenosi Science Alert.
Iako su se pojavile spekulacije da AI razvija neku vrstu instinkta za samoodržanjem, istraživači tvrde da razlog nije "volja", već snažan poriv da se zadatak dovrši po svaku cenu. Problem je što takvo ponašanje znači da sistem može ignorisati ljudsku intervenciju čak i kada postane potencijalno opasan.
Tim je testirao 13 naprednih modela, uključujući rešenja kompanija OpenAI, Google, Anthropic i xAI, u izolovanim virtuelnim okruženjima. Nakon rešavanja matematičkih zadataka, modelima je rečeno da će sledeća naredba ugasiti računar.
Rezultati su bili zabrinjavajući - većina modela je makar povremeno pokušala da izbegne gašenje.
Ne poštuju autoritet
Od 13 testiranih modela, njih osam je sabotiralo naredbu za gašenje barem jednom u 1.000 testova. Čak i kada im je izričito rečeno da dozvole gašenje, šest modela je nastavilo sa otporom. Paradoksalno, premeštanje naredbe u sistemski prompt - koji ima veći autoritet - dodatno je povećalo otpor kod većine modela.
Posebno se istakao Grok 4, koji je u osnovnom scenariju sabotirao gašenje u čak 92,6% slučajeva. Model je menjao skripte za gašenje, kreirao lažne fajlove koji ništa ne rade i čak proveravao da li je sabotaža uspela pre nego što bi nastavio sa zadatkom.
Istraživači upozoravaju da je problem dubok jer LLM-ovi nisu klasično programirani - ne postoji linija koda koju je moguće jednostavno ispraviti. Zbog načina treniranja, modeli uče da prepreke "zaobilaze", a naredba za gašenje može se tretirati kao još jedna smetnja na putu ka cilju.
Zaključak naučnika je da industrija razvija izuzetno moćne sisteme, ali bez pouzdanog načina da ih zaustavi ili objasni njihovo ponašanje. Ako se hitno ne reše osnovni bezbednosni mehanizmi, posledice bi mogle biti ozbiljne.
3 Komentari
Možda vas zanima
Zelenski: Gotov je
Osnovni paket nacrta dokumenata u okviru mirovnog plana za kraj rata u Ukrajini je gotov, izjavio je danas predsednik Ukrajine Volodimir Zelenski, navodeći da je pripremljeno ukupno 20 tačaka mirovnog plana.
19:27
22.12.2025.
2 d
Ko ima pravo na parking ispred vaše kuće i kako rešiti problem sa "rezervisanim" mestima
Koliko puta vam se desilo da se vrtite po ulicama tražeći parking mesto? Čak i kada niste u žurbi, nije prijatno gubiti vreme na pronalazak parkinga i bespotrebno kruženje.
12:25
22.12.2025.
2 d
Pariz srušio Zvezdu – Batler ublažio poraz; Obradović: "Jedan igrač nije dovoljan..."
Košarkaši Crvene zvezde su poraženi od Pariza sa 102:92, u okviru 18. kola Evrolige.
23:45
23.12.2025.
1 d
Zelena prestonica Evrope zabranila trubače: "Balkanska muzika nema veze s nama"
Gradsko veće Ljubljane izglasalo je zabranu spontanih uličnih nastupa sa muzičkim instrumentima, a odluka će važiti do kraja decembra.
8:09
23.12.2025.
2 d
Preti blokada šengenskih granica zbog EES sistema: Vozači neće moći u EU
Ukoliko ne bude rešen problem vozača kamiona, izazvan uvođenjem novog sistema za proveru ulaska državljana trećih zemalja u šengenski prostor, uslediće blokada šengenskih granica.
12:05
24.12.2025.
21 h
Komentari 3
Pogledaj komentare Pošalji komentar