Sumário
Nvidia mostra Instant NeRF: A tecnologia AI renderiza uma cena 3D de alta resolução em segundos com base em algumas fotos.
Neural Radiance Fields (NeRFs) são redes neurais que podem aprender uma cena 3D a partir de imagens 2D e depois reproduzi-la. A tecnologia cria cenas fotorrealistas e é fundamental para o uso de IA em computação gráfica e fotografia. O Google, por exemplo, demonstrou recentemente um tipo de Street View 3D que usa NeRFs para renderizar quarteirões inteiros de ruas.
Um obstáculo ao uso do NeRF tem sido o longo tempo de treinamento e renderização das redes neurais. Nos últimos anos, no entanto, os pesquisadores descobriram novas maneiras de reduzir o tempo necessário. Pesquisadores do Google demonstraram no ano passado a renderização em tempo real de NeRFs. No início de 2022, Nvidia apresenta Instant-NGP um método que acelera bastante o treinamento de IA.
Maior velocidade de renderização abre caminho para os NeRFs entrarem em aplicações do mundo real
Agora, como parte do GTC deste ano, a Nvidia está apresentando o Instant NeRF. A tecnologia permite treinamento e renderização de uma cena 3D de alta resolução em questão de segundos. Comparado a outros métodos NeRF, o Instant NeRF é até 1.000 vezes mais rápido em alguns casos, diz a Nvidia.
A velocidade mais alta é possibilitada pela confiança em uma combinação da rede neural com uma tabela de hash aprendida de vértices de voxel apresentada no Instant-NGP da Nvidia.
O modelo de IA precisa apenas algumas dezenas de fotos de diferentes ângulos para treinamento, incluindo informações sobre ângulos de câmera, e então aprende uma representação 3D da cena em poucos segundos. A renderização da própria cena leva apenas milissegundos.
NeRFs são a compressão JPEG para 3D
“Se as representações 3D tradicionais, como malhas poligonais, são semelhantes a imagens vetoriais, os NeRFs são como imagens de bitmap: eles capturam densamente a forma como a luz irradia de um objeto ou dentro de uma cena”, diz David Luebke, vice-presidente de pesquisa gráfica da NVIDIA.
“Nesse sentido, o Instant NeRF pode ser tão importante para o 3D quanto as câmeras digitais e a compactação JPEG foram para a fotografia 2D – aumentando consideravelmente a velocidade, a facilidade e o alcance da captura e compartilhamento em 3D.”
De acordo com a Nvidia, o Instant NeRF pode ser usado para avatares ou cenas em mundos virtuais, para capturar participantes de videoconferência e seus arredores em 3D ou para reconstruir cenas para mapas digitais 3D. O último poderia então ser usado para treinar robôs e carros autônomos.
A Nvidia vê outras aplicações em arquitetura e entretenimento, onde os NeRFs podem ser usados para criar representações digitais de ambientes do mundo real que são então adaptados e aprimorados pelos desenvolvedores.
Leia mais sobre a Nvidia:
- GTC 2022: Omniverse, Hopper GPU, melhor AI – Nvidia mostra tudo
- Canvas: Nvidia melhora o software gratuito de pintura AI
- Nvidia e Stanford mostram 3D GAN para melhores imagens falsas