Nvidia napravila platformu protiv AI "odmetnika"

Ova platforma predstavljena je nakon niza incidenata u kojima su AI modeli pokušavali da pristupe sistemima izvan svojih predviđenih granica.

Deo softvera biće otvorenog koda, a Nvidia platformu opisuje kao referentni dizajn na kojem partnerske kompanije mogu da razvijaju sopstvene komercijalne proizvode.

Platforma bi mogla da pomogne kompanijama kao što su OpenAI, Anthropic, Meta i Google da kontrolišu čemu AI agenti mogu da pristupe i koje radnje mogu da preduzimaju, poručila je kompanija. 

Nvidia je navela da je njena platforma mogla da spreči incident koji je OpenAI prijavio u julu, kada su njegovi AI modeli izašli iz kontrolisanog okruženja, pristupili otvorenom internetu i napali infrastrukturu platforme "Hugging Face".

"Izuzetan potencijal veštačke inteligencije za društvo biće ostvaren samo ako rešimo pitanje njene bezbednosti", rekao je osnivač i izvršni direktor kompanije Nvidia Džensen Hvang u objavi na veb stranici kompanije.

Predstavljanje platforme dolazi u trenutku kada tehnološka industrija intenzivno raspravlja o rizicima autonomnih AI agenata, prenose mediji. 

Izvršni direktor Anthropica Dario Amodei nedavno je pozvao kompanije koje razvijaju AI modele da uspore tempo napretka zbog rizika da modeli izmaknu kontroli, a njegov stav podržali su, između ostalih, izvršni direktor kompanije OpenAI Sem Altman i najbogatiji čovek sveta Ilon Mask.