Sumário
Pesquisadores da Nvidia demonstram um novo método de IA projetado para permitir o uso eficiente de inteligência artificial para computação gráfica.
A Inteligência Artificial está encontrando seu caminho para a computação gráfica, desde upscalers de IA como o DLSS da Nvidia até renderização neural via GANs ou representações 3D em NeRFs para auxiliares de rastreamento de raios como Neural Radiance Caching (NRC). A Nvidia mostrou algumas dessas abordagens na conferência de tecnologia SIGGRAPH 2021 em agosto de 2021.
Por exemplo, o NRC combina o hardware AI e raytracing embutido nas placas de vídeo RTX para criar iluminação global alimentada por AI que funciona com todos os tipos de materiais e texturas. Para fazer isso, o NRC aprende a prever os caminhos e efeitos de traçado de raios de raios de luz traçados em tempo real durante o processo de renderização de uma cena. Isso melhora a eficiência de renderização em até um fator de 100 quando combinado com algoritmos de iluminação avançados.
As texturas de campo de reflexão neural (NeRF-Tex), por outro lado, são projetadas para simplificar a modelagem de materiais complexos, como peles ou tecidos. NeRF-Tex representa esses materiais e pode ser colocado como uma textura sobre uma malha clássica.
As abordagens de IA não foram rápidas o suficiente – até agora
As redes neurais artificiais podem ser usadas para realizar inúmeras outras aplicações em computação gráfica. Mas, em muitos casos, as soluções de IA ainda são mais lentas do que suas alternativas de renderização tradicionais. Um novo trabalho de pesquisa da Nvidia agora apresenta um novo método que pode mudar isso.
O Instant-NGP pode aprender imagens de gigaPixel, SDFs, NeRFs e volumes neurais em segundos. | Vídeo: Nvidia
O grupo de pesquisa demonstra “Instant Neural Graphics Primitives” (Instant-NGP), uma estrutura que permite que uma rede neural aprenda representações de imagens de gigaPixel, objetos 3D e NeRFs em segundos.
O Neural Radiance Caching, lançado em agosto, também se beneficia do novo método e obtém uma qualidade de imagem significativamente melhor com apenas uma pequena degradação do desempenho.
Instant-NGP acelera o treinamento NeRF muitas vezes. | Vídeo: Nvidia
Um modelo do mundo real treinou em menos de cinco minutos com apenas 34 fotos. | Vídeo: Nvidia
Os pesquisadores contam com uma combinação de uma tabela de hash aprendida de vértices de voxel e uma rede neural. Isso permite maior qualidade com treinamento até oito vezes mais rápido em comparação com métodos alternativos.
Vídeo: Nvidia
O Instant NGP visa abrir caminho para o uso generalizado da tecnologia AI para gráficos de computador
Muitos problemas em computação gráfica anteriormente exigiam estruturas de dados específicas para resolver o problema em questão, disse a equipe. A abordagem apresentada deve oferecer uma alternativa prática e baseada no aprendizado que se concentre automaticamente nos detalhes relevantes, independentemente da tarefa.
Além disso, como o método é tão eficiente, pode ser usado em treinamento e inferência online, igualando o desempenho das técnicas tradicionais de reconstrução 3D, disseram.
“Demonstramos que os tempos de treinamento de uma única GPU medidos em segundos estão ao alcance de muitos aplicativos gráficos, permitindo que abordagens neurais sejam aplicadas onde antes poderiam ser descontadas”, concluem os pesquisadores.
Mais informações sobre O Instant-NGP está disponível na página do projeto . O código está disponível em GitHub .
Leia mais sobre Inteligência Artificial:
- AI Graphics: Unity compra startup humana digital
- Deepfakes agora são ainda mais versáteis
- Nvidia e Stanford demonstram 3D GAN para melhores imagens falsas