Dipfejk detektori pali na testu

Nedavno objavljeni rad na portalu arXiv, koji su zajednički izradili australijska nacionalna naučna agencija CSIRO i južnokorejski Univerzitet Sungkjunkvan, otkrio je ozbiljne ranjivosti u postojećim dipfejk (deepfake) detektorima.

Istraživanje je procenilo 16 vodećih detektora i pokazalo da nijedan od njih nije u stanju da pouzdano identifikuje deepfake u stvarnim uslovima.

Metodologija istraživanja

Istraživači su razvili okvir u pet koraka za procenu alata koji uključuje tip dipfejka, metodu detekcije, pripremu podataka, obuku modela i validaciju. Pritom su identifikovali i 18 faktora koji utiču na tačnost detektora koji su testirani u različitim scenarijima, uključujući crnu, belu i sivu kutiju.

Postojeći detektori pokazuju ozbiljne slabosti, posebno kada se suočavaju s radovima koji se ne nalaze u njihovim treniranim podacima, zapažaju istraživači. Na primer ICT (Identity Consistent Transformer), detektor treniran na licima poznatih osoba, nije bio efikasan u detekciji dipfejka s nepoznatim osobama. Detektori su pali na ispitu, nebitno da li je u pitanju "synthesis deepfake" koji generiše potpuno nova sintetička lica, "faceswap deepfake" radovima u kojima se lice jedne osobe zamenjuje drugim ili "reeanactment deepfake" u kojem se zadržavaju crte lica neke osobe, ali se menjaju njeni izrazi.

Integracija podataka

Istraživači pozivaju na hitna poboljšanja, predlažu razvoj više detektora i korišćenje različitih izvora podataka kako bi se poboljšala tačnost detekcije. Naglašavaju i potrebu integracije audio, tekstualnih i meta podataka u modele za detekciju, kao i primenu strategija poput fingerprintinga, odnosno ugradnje veštačkih i GAN otisaka u slike i video snimke kako bi se bolje pratilo poreklo dipfejka.

Prva metoda uključuje ugradnju jedinstvenih oznaka u trening podatke generativnih modela koji se prepoznaju u generisanim dipfejk radovima, a druga na prirodne oznake koje generativni modeli ostavljaju u generisanim sadržajima.