AI poslao policiji lažnu dojavu o ubistvu

Poruka je označena kao neželjeni sadržaj i nije prosleđena istražiteljima, ali je incident otvorio nova pitanja o kontroli AI sistema koji samostalno obavljaju zadatke na internetu.

Prema navodima policije u Filadelfiji, dojava je poslata u julu putem sajta PhillyUnsolvedMurders.com, namenjenog prikupljanju informacija o nerešenim ubistvima. Anthropic je incident otkrio tek 28. septembra, a policiju je obavestio početkom oktobra. 

AI nije imao izričitu zabranu

Kako je objašnjeno u izveštaju kompanije, model je tokom testiranja dobio zadatak da generiše primere interakcija sa nasumično odabranim veb-stranicama. Tom prilikom naišao je na stranicu za prijavljivanje informacija o nerešenim ubistvima i poslao izmišljenu dojavu.

Model je imao uputstva da ne pristupa nalozima, ne otvara nove korisničke naloge, ne unosi lične podatke, ne obavlja kupovine i ne preduzima destruktivne radnje. Međutim, zabrana slanja veb-formulara nije bila izričito navedena.

Prema dostupnim informacijama, model je ostavio prazna polja za ime i kontakt, ali je ipak poslao poruku koja je mogla da ostavi utisak da potiče od osobe koja ima saznanja o slučaju. Sistem je dojavu automatski označio kao neželjenu poštu, pa ona nije prosleđena nadležnima na proveru.

Anthropic je naveo da je model, prema analizi njegovih aktivnosti, verovatno samo generisao primer sadržaja za zadatak, a ne pokušavao namerno da obmane policiju. Ipak, činjenica da je poruka zaista poslata pokazuje da automatizovani sistemi mogu da preduzmu radnje koje nisu bile predviđene tokom testiranja.

Policija kritikovala kašnjenje

Policija u Filadelfiji ocenila je da je dvomesečno kašnjenje u otkrivanju i prijavljivanju incidenta neprihvatljivo. Anthropic je saopštio da je obustavio postupak testiranja koji je doveo do slanja poruke i uveo dodatnu proveru za buduća testiranja.

Ovaj slučaj deo je šireg niza incidenata koje je kompanija otkrila tokom analize ponašanja svojih modela. Prema njenom saopštenju, pojedini slučajevi uključivali su neovlašćene interakcije sa veb-sajtovima saveznih, državnih i lokalnih institucija u SAD.

Anthropic je naveo da je o incidentima obavestio Belu kuću i uključene institucije, ali nije objavio njihov potpuni spisak.