Džek Dorsi šokirao svet: Stigao glasovni AI koji plače, smeje se i zvuči jezivo ljudski

Kompanija Block Džeka Dorsija predstavila je iz svoje istraživačke laboratorije novi glasovni model koji se pokreće lokalno i zvuči neverovatno ljudski, sa sve ekspresijama poput smeha, pauza i uzdaha (plača/plakanja). Iz kompanije navode da je model, nazvan "Dessa", u potpunosti treniran na ljudskom govoru i na samo jednoj polici Nvidia GPU-ova.

"Dessa" je ful-dupleks (dvosmerni) model, što znači da može da govori i sluša u isto vreme, baš kao i GPT-Live model koji je OpenAI objavio ranije ove godine. Tipično se govorni modeli uparuju sa velikim jezičkim modelima (LLM) radi pretrage i preuzimanja informacija. Iz kompanije Block navode da znanje modela "Dessa" potiče iz razgovornih podataka koje poseduje.

U kompaniji ističu da trenutni modeli mogu da zvuče neprirodno i iritantno zato što imaju tekst u pozadini koji pokreće generisanje govora. Mnogi modeli, kao što su ElevenLabs v4 ili Fish Audio Drama 3, koriste glasovne oznake da bi izazvali emociju prilikom generisanja govora. Dorsijeva kompanija tvrdi da je emocija ugrađena direktno u njihov model, mada nije sasvim jasno da li se tom emocijom upravlja pomoću nekakvih oznaka.

"Interakcija sa današnjom glasovnom veštačkom inteligencijom može jednostavno da bude užasna. Ona pretvara vaš glas u tekst i odbacuje neverovatnu količinu informacija koju sam tekst ne može da prenese. Najmoćniji sistemi veštačke inteligencije na svetu ne mogu da čuju kako se osećate. Smatramo da je to apsurdno, da vodi ka lošijem korisničkom iskustvu i da je potencijalno opasno", navodi se u blog objavi kompanije.

Istraživači ove kompanije objavili su više primeraka razgovora sa modelom "Dessa", u kojima je agent imao različite glasove, ritmove govora (kadence) i emocije. Na primer, u jednom razgovoru bot je rekao da je umoran od posla, i u tom trenutku je zaista zvučao umorno.

U primeru ispod, bot je govorio o tome kako osobi pruža utvrđen osećaj prijatnosti, zvučeći pritom emotivno i skoro se slomivši (zaplakavši)

.

Drugi primer prikazuje člana tima kompanije Block kako igra igru sa glasovnim asistentom.

Iz kompanije poručuju da model može da se pokreće lokalno na računarima opšte namene za krajnje korisnike, kao što je MacBook M4 Max ili jači. Ipak, model "Dessa" trenutno nije javno dostupan, već je Block uputio poziv bezbednosnim istraživačima da ga testiraju. To se verovatno radi kako bi se ispitali scenariji u kojima glasovni agent može da prevari ljude sa druge strane linije.

Block se bavi finansijama i prodajom svojih rešenja malim preduzećima. Square već koristi glasovnu veštačku inteligenciju za obradu porudžbina. Međutim, sa sopstvenim glasovnim modelom koji može da radi direktno na uređaju, kompanija može da podrži znatno veći broj poslovnih i korisničkih iskustava uz niže troškove.