„Nvidia Instant NeRF“ per kelias sekundes gali paversti jūsų nuotraukas 3D scenomis

Nauja dirbtinio intelekto (AI) sukurta technologija netrukus gali jūsų 2D nuotraukas paversti 3D scenomis vos per kelias sekundes.

Nvidia neseniai pademonstruota fotografavimo metodas, vadinamas Instant NeRF, kuris naudoja skaičiavimo galią, kad apytiksliai apskaičiuotų, kaip šviesa elgiasi realiame pasaulyje. Jis gali paversti jūsų senas nuotraukas į vaizdo žaidimų sceną arba gali būti naudojamas mokant robotus ir savarankiškai važiuojančius automobilius suprasti realaus pasaulio objektų dydį ir formą.

„3D vaizdavimas atneša naują transformacijos pasaulį“, Orenas Debbi, „Lifewire“ interviu el. paštu sakė „Visionary.ai“, kompiuterinės vizijos įmonės, kuri naudoja savo 3D algoritmus „Nvidia“ platformoje, generalinis direktorius. „Naudodami 3D vaizdą imituojate realaus pasaulio gylį, todėl vaizdas atrodo gyvesnis ir tikroviškesnis. Be AR/VR ir pramoninių kamerų, kuriose 3D yra labai paplitusi, dabar matome, kad ji naudojama beveik kiekviename išmaniajame telefone, vartotojui to net nežinant.

Matmenų pridėjimas

Pirmoji momentinė nuotrauka, daryta prieš 75 metus su Polaroid fotoaparatu, skirtas greitai užfiksuoti 3D pasaulį 2D vaizde. Dabar dirbtinio intelekto tyrinėtojai dirba priešingai: per kelias sekundes nejudančių vaizdų kolekciją paverčia skaitmenine 3D scena.

Šis procesas, žinomas kaip atvirkštinis atvaizdavimas, naudoja AI, kad apytiksliai apskaičiuotų, kaip šviesa elgiasi realiame pasaulyje. leidžianti tyrėjams atkurti 3D sceną iš kelių 2D vaizdų, darytų skirtingu laiku kampai. „Nvidia“ teigia, kad sukūrė metodą, kuris šią užduotį atlieka beveik akimirksniu.

Nvidia naudojo šį metodą su nauja technologija, vadinama nervų spinduliavimo laukai, arba NeRF. Bendrovė teigia, kad rezultatas, pavadintas Instant NeRF, yra greičiausia NeRF technika iki šiol. Modelis užtrunka vos kelias sekundes, kad padarytų kelias dešimtis nejudančių nuotraukų, o vėliau gautą 3D sceną gali atvaizduoti per kelias dešimtis milisekundžių.

"Jei tradiciniai 3D vaizdai, tokie kaip daugiakampiai tinkleliai, yra panašūs į vektorinius vaizdus, ​​​​NeRF yra kaip taškinio žemėlapio vaizdai: jie tankūs užfiksuoti, kaip šviesa sklinda iš objekto arba scenoje“, – sakė Davidas Luebke'as, Nvidia grafikos tyrimų viceprezidentas. a spaudos pranešimas. „Šia prasme momentinis NeRF gali būti toks pat svarbus 3D, kaip skaitmeniniai fotoaparatai ir JPEG glaudinimas 2D fotografijai – tai žymiai padidina 3D fotografavimo ir bendrinimo greitį, lengvumą ir pasiekiamumą.

Norint rinkti duomenis, kad būtų galima tiekti NeRF, neuroninis tinklas turi užfiksuoti kelias dešimtis vaizdų, paimtų iš kelių scenos vietų, taip pat kiekvieno tų kadrų fotoaparato padėtį.

NeRF treniruoja nedidelį neuroninį tinklą, kad būtų galima atkurti sceną, numatant šviesos, sklindančios bet kuria kryptimi, spalvą iš bet kurio 3D erdvės taško.

3D apeliacija

Metaverse yra viena sritis, kurioje 3D scenos yra naudingos, nes jas galima žiūrėti iš bet kurios fotoaparato perspektyvos, Bradas Quintonas, Perceptus Platform for papildytos realybės (AR) įkūrėjas, sakė Lifewire interviu el. paštu. Kaip ir realiame gyvenime galime eiti per kambarį ir pamatyti jo turinį iš įvairių kampų, Su rekonstruota 3D scena galime virtualiai judėti erdvėje ir žiūrėti ją iš bet kurios vietos perspektyvą.

"Tai gali būti ypač naudinga kuriant aplinką, skirtą naudoti virtualioje realybėje", - sakė Quintonas.

Tokios programos kaip „Apple“ objektų fiksavimas naudokite techniką, vadinamą fotogrametrija, norėdami sukurti virtualius 3D objektus iš 2D vaizdų serijos. Quintonas prognozavo, kad 3D modeliai bus plačiai naudojami virtualioje realybėje ir AR programose. Pavyzdžiui, kai kurie AI, tokie kaip esantis Perceptus AR platforma, naudokite 3D modelius, kad suprastumėte realų pasaulį, o tai leidžia realaus laiko AR programas.

3D vaizdų naudojimas taip pat imituoja realaus pasaulio gylį scenoje, todėl vaizdas atrodo gyvesnis ir tikroviškesnis, sakė Debbi. Norint sukurti Bokeh efektą (dar žinomą kaip portreto arba kino režimas), būtinas 3D gylio žemėlapis. Ši technika naudojama beveik kiekviename išmaniajame telefone.

„Tai jau yra standartas profesionaliems filmuotojams, filmuojantiems filmus, ir tai tampa standartu kiekvienam vartotojui“, – pridūrė Debbi.