Sumário
Pesquisadores de IA da Samsung demonstram deepfakes com resolução de megaPixels. O sistema de IA pode gerar avatares humanos de alta resolução em tempo real.
Há quase um ano, um deepfake enganou Tom Cruise nas redes sociais com vídeos falsos impressionantemente realistas. O ator Miles Fisher e o especialista em efeitos visuais Chris Umé estavam por trás disso. Por conta própria, ambos dedicaram semanas de trabalho a cada vídeo para obter uma qualidade excepcionalmente alta.
Além da tecnologia, a grande semelhança de Fisher com o verdadeiro Tom Cruise também é crucial para os deepfakes de primeira linha. Isso ocorre porque as tecnologias deepfake atuais funcionam particularmente bem quando o formato facial, o cabelo e outras características das cabeças reais e falsas são semelhantes. O mesmo vale para deepfake Margot Robbie .
Samsung Labs mostra avatares humanos de alta resolução
Pesquisadores de IA do Samsung Labs estão demonstrando um sistema de IA que pode criar avatares de alta resolução a partir de uma única imagem estática ou pintura.
Além da alta resolução, a equipe se concentrou principalmente em reduzir a dependência da qualidade dos deepfakes de uma aparência semelhante entre o humano e seu avatar. Um deepfake convincente de Cruise não exigiria mais um doppelganger humano como Fisher; o truque funcionaria com qualquer pessoa.
O Samsung Labs chama seu novo sistema deepfake de MegaPortraits (abreviação de “retratos de megaPixel”). O modelo básico captura a aparência da imagem de origem, bem como o movimento das imagens de origem e destino.
A aparência e o movimento são processados separadamente pelo modelo e transferidos para a imagem de destino. Para isso, a informação é primeiro mesclada em um gerador de convolução 3D e depois transformada na imagem de destino por um gerador de convolução 2D. Em seguida, cada imagem de destino é aprimorada por um modelo HD separado.
MegaPortrait da Samsung pode fazer deepfakes em tempo real
Os resultados do MegaPortrait são impressionantes e mostram melhorias significativas em relação aos métodos mais antigos, dizem os pesquisadores. A equipe mostra exemplos de Mona Lisa ou Brad Pitt se tornando um avatar deepfake em tempo real para uma pessoa filmada por uma câmera de vídeo.
Vídeo: Samsung
Vídeo: Samsung
Além do modelo básico, a equipe também treinou um modelo menor rodando em tempo real a 130 quadros por segundo em uma Nvidia RTX 3090, vinculando as identidades dos 100 avatares neurais que ele contém a imagens de origem predefinidas.
Essa operação em tempo real e garantia de identidade comprovada por meio de links para imagens de origem armazenadas são essenciais para muitas aplicações práticas de sistemas de avatar com foco no rosto, escrevem os pesquisadores.
A equipe ainda vê fraquezas nos movimentos dos ombros, movimentos da cabeça que não estão alinhados frontalmente e uma leve oscilação na pele causada pelas imagens HD estáticas nas filmagens de treinamento. Os pesquisadores planejam abordar essas questões em um artigo futuro.
Mais exemplos estão disponíveis no página do projeto MegaPortraits .