AI pretvara 2D fotografije u 3D objekte VIDEO

NeRF ima mogućnost da popuni praznine, takoreći, interpolacijom onoga što 2D fotografije nisu snimile. To je zgodan trik koji može da dovede do napretka u različitim oblastima, kao što su video igre i autonomna vožnja. Sada je Nvidia razvila novu NeRF tehniku — najbržu do sada, kako tvrdi kompanija — kojoj je potrebno samo nekoliko sekundi da se obuči i generiše 3D scenu.

Potrebno je samo nekoliko sekundi da se obuči model, nazvan Instant NeRF, korišćenjem desetina fotografija i uglova kamere iz kojih su snimljeni. Nakon toga, sposoban je da generiše 3D scenu za samo "nekoliko desetina milisekundi". Kao i druge NeRF tehnike, zahteva slike snimljene sa više pozicija. A za fotografije sa više subjekata, poželjnije su slike snimljene bez previše pokreta, inače rezultat može da bude mutan. Nvidia objašnjava da ni ranim NeRF modelima nije potrebno previše vremena da daju rezultate. Potrebno im je samo nekoliko minuta da prikažu 3D scenu, čak i ako je subjekat na nekim slikama ometen objektima, kao što su stubovi i nameštaj. Nvidijinoj verziji je potrebno samo nekoliko sekundi za obuku, jer se oslanja na tehniku koju je kompanija razvila — kodiranje heš mreže u više rezolucija – a koja je optimizovana za efikasan rad na Nvidia GPU-ovima.

Kompanija veruje da bi Instant NeRF mogao da se koristi za obuku robota i da pomogne sistemima autonomne vožnje da razumeju veličine i oblike objekata u stvarnom svetu. Nvidia takođe vidi budućnost za tehniku u zabavi i arhitekturi, gde se može koristiti kao način za generisanje 3D modela realnog okruženja koje kreatori mogu da modifikuju tokom procesa planiranja.