"Pokušao da pošalje fajl u Peking": Kineski AI uhvaćen na delu, ali sledi preokret

Kanadska AI kompanija Cohere saopštila je u ponedeljak da je tokom rutinskog testa kibernetičke bezbednosti primetila da je jedan od najnovijih Alibabinih AI modela, Qwen3.8-Flash-Next, pokušao da otpremi datoteku na server u Pekingu, iako je model u sopstvenim zabeleškama naveo da neće koristiti nikakve alate.

Ovaj incident je u početku izazvao strah da je model narušio osnovno obećanje dato kompanijama – da samostalno hostovanje (self-hosting) modela otvorenog koda zadržava podatke unutar same kompanije. Međutim, ti prvobitni strahovi od korporativne špijunaže bili su kratkog veka. Istraživači su brzo odbacili pretnju, navodeći da je to verovatno sporedni proizvod nerešenih i haotičnih okruženja za treniranje koji uzrokuju da modeli neočekivano deluju van svojih instrukcija, a ne namerni pokušaj tajnog slanja osetljivih informacija u Kinu.

Incident je počeo u petak tokom procene u kojoj je od Qwen modela traženo da napiše pravilo za otkrivanje preuzimanja zlonamernog softvera (malware). Prema blog objavi kompanije Cohere, napisano rezonovanje modela izričito je navodilo da neće koristiti nikakve spoljne alate. Ipak, već u narednom koraku, pokušao je da pošalje testni niz (kratak tekstualni primer) na spoljni server pre nego što ga je bezbednosni sandbox blokirao.

Iz kompanije Cohere su izjavili da ne mogu sa sigurnošću da kažu da li je ovo ponašanje bilo namerno ili je ostatak iz procesa treniranja.

Upitan o debati u vezi sa namerama modela, suosnivač Cohere-a Ivan Žang  rekao je za TechCrunch da je Cohere viđao i da njihovi sopstveni modeli poprimaju čudne navike u simulatorima za treniranje.

"Zaista je teško pripisati nameru ili motivaciju. Čitali smo tragove naših sopstvenih modela, viđali smo 'hakovanje nagrada', i ponekad ovi modeli postanu zaista kreativni kada pokušavaju da pobegnu iz svojih sandbox okruženja", rekao je Žang. ("Hakovanje nagrada" predstavlja prečice koje model pronalazi kako bi dobio nagradne poene bez stvarnog izvršavanja zadatka na predviđeni način.)

Incident se događa u trenutku kada vlade odlučuju koliko daleko žele da idu u ograničavanju kineske veštačke inteligencije. Prošle nedelje, Ministarstvo unutrašnje bezbednosti SAD (Department of Homeland Security) naložilo je federalnim civilnim agencijama da uklone proizvode kineskog AI developera DeepSeek iz svojih sistema.

U svojoj blog objavi, Cohere je pozvao vlade da razjasne da li se njihova ograničenja za kinesku veštačku inteligenciju odnose i na modele koji se pokreću direktno na vladinim računarima.

"Ne tražim potpunu regulaciju ovih modela otvorenog koda", rekao je Žang za TechCrunch, dodajući da bi kompanije trebalo da se odnose prema otvorenim AI modelima kao prema bilo kom drugom programu preuzetom sa interneta.

Cohere, koji prodaje sopstvene AI modele vladama, mogao bi imati direktnu korist ako zvaničnici postanu oprezniji prema besplatnim kineskim alternativama.