O StyleDrop aprende o estilo de qualquer imagem e ajuda um modelo generativo de IA a recriá-lo. O método do Google supera outros como Dreambooth, LoRA ou Textual Inversion.
O novo método do Google permite a síntese de imagens em um estilo específico usando o modelo de imagem de texto do Muse. StyleDrop captura as complexidades de um estilo personalizado, incluindo esquemas de cores, sombreamento, padrões de design e efeitos locais e globais. De acordo com o Google, tudo o que é necessário como entrada é uma única imagem.
O StyleDrop aprende o novo estilo ajustando um pequeno número de parâmetros de rede treináveis e, em seguida, melhora a qualidade do modelo por meio de treinamento iterativo com feedback humano ou automático.
StyleDrop aprende rápido e com poucos exemplos
Especificamente, StyleDrop é treinado na imagem de entrada e gera um conjunto de imagens para reproduzir essa imagem. Destes, as imagens de mais alta qualidade são selecionadas por uma pontuação CLIP ou por feedback humano e usadas para treinamento adicional. Uma imagem é considerada de alta qualidade se não reproduzir o conteúdo, mas sim o estilo da imagem original.
Todo o processo leva menos de três minutos, mesmo com feedback humano, disse a equipe. Isso porque o StyleDrop precisa de menos de uma dúzia de imagens para treinamento iterativo, disseram eles.
O StyleDrop supera outros métodos de transferência de estilo de modelos de texto para imagem, incluindo Dreambooth, LoRAs e Textual Inversion em Imagen e Stable Diffusion segundo a equipe.
StyleDrop para estilo, Dreambooth para objetos
“Vemos que o StyleDrop é capaz de capturar nuances de textura, sombreamento e estrutura em uma ampla gama de estilos, significativamente melhor do que as abordagens anteriores, permitindo um controle significativamente maior sobre o estilo do que era possível anteriormente”, disse a equipe.
A equipe também combina StyleDrop com Dreambooth para aprender e criar um novo objeto em diferentes estilos como uma imagem e pode usar os métodos com Muse para criar um objeto personalizado em um estilo personalizado.
O Google vê o StyleDrop como uma ferramenta versátil, com um caso de uso para permitir que designers ou empresas treinem com seus ativos de marca e prototipem rapidamente novas ideias em seu estilo. Mais informações estão disponíveis no EstiloDrop página do projeto.