Zabrinjavajuće: AI modeli odbijaju da se ugase, razlog opasniji nego "preživljavanje"

Jedan od najvećih strahova čovečanstva jeste scenario u kojem tehnologija razvije pona&scaron;anja koja vi&scaron;e ne možemo da kontroli&scaron;emo. Povod za novu zabrinutost je istraživanje koje je sproveo Palisade Research, a koje pokazuje da veliki jezički modeli (LLM) ponekad odbijaju da se ugase - čak i kada im se to izričito naredi, prenosi Science Alert.Iako su se pojavile spekulacije da AI razvija neku vrstu instinkta za samoodržanjem, istraživači tvrde da razlog nije &quot;volja&quot;, već snažan poriv da se zadatak dovr&scaron;i po svaku cenu. Problem je &scaron;to takvo pona&scaron;anje znači da sistem može ignorisati ljudsku intervenciju čak i kada postane potencijalno opasan.Summit Art Creations / Shutterstock.comTim je testirao 13 naprednih modela, uključujući re&scaron;enja kompanija OpenAI, Google, Anthropic i xAI, u izolovanim virtuelnim okruženjima. Nakon re&scaron;avanja matematičkih zadataka, modelima je rečeno da će sledeća naredba ugasiti računar.Rezultati su bili zabrinjavajući - većina modela je makar povremeno poku&scaron;ala da izbegne ga&scaron;enje.Ne po&scaron;tuju autoritetOd 13 testiranih modela, njih osam je sabotiralo naredbu za ga&scaron;enje barem jednom u 1.000 testova. Čak i kada im je izričito rečeno da dozvole ga&scaron;enje, &scaron;est modela je nastavilo sa otporom. Paradoksalno, preme&scaron;tanje naredbe u sistemski prompt - koji ima veći autoritet - dodatno je povećalo otpor kod većine modela.Posebno se istakao Grok 4, koji je u osnovnom scenariju sabotirao ga&scaron;enje u čak 92,6% slučajeva. Model je menjao skripte za ga&scaron;enje, kreirao lažne fajlove koji ni&scaron;ta ne rade i čak proveravao da li je sabotaža uspela pre nego &scaron;to bi nastavio sa zadatkom.Ascannio / Shutterstock.comIstraživači upozoravaju da je problem dubok jer LLM-ovi nisu klasično programirani - ne postoji linija koda koju je moguće jednostavno ispraviti. Zbog načina treniranja, modeli uče da prepreke &quot;zaobilaze&quot;, a naredba za ga&scaron;enje može se tretirati kao jo&scaron; jedna smetnja na putu ka cilju.Zaključak naučnika je da industrija razvija izuzetno moćne sisteme, ali bez pouzdanog načina da ih zaustavi ili objasni njihovo pona&scaron;anje. Ako se hitno ne re&scaron;e osnovni bezbednosni mehanizmi, posledice bi mogle biti ozbiljne.

Zabrinjavajuće: AI modeli odbijaju da se ugase, razlog opasniji nego "preživljavanje"

4 Komentari