Sumário
Atualização, 18 de outubro de 2022:
Os pesquisadores Manuel Kauers e Jakob Moosbauer, da Johannes Kepler University Linz, já quebraram o recorde do Deepmind para multiplicação de matrizes em um passo, eles escrevem em seu papel . Eles desenvolveram uma maneira de realizar uma multiplicação de matrizes 5 × 5 em 95 etapas – uma etapa a menos do que o recorde da Deepmind de 96 etapas no início de outubro. O valor original era de 98 passos. Os pesquisadores austríacos desenvolveram o trabalho da Deepmind.
Artigo original, 6 de outubro de 2022:
O novo AI AlphaTensor da Deepmind permite que os computadores se multipliquem com mais eficiência
O mais recente sistema de IA da Deepmind, AlphaTensor, descobre automaticamente novos algoritmos que podem acelerar as multiplicações de matrizes onipresentes na ciência da computação.
Os computadores podem somar números mais rapidamente do que podem multiplicá-los. Este é um problema na medida em que muitas tarefas matemáticas em ciência da computação são tratadas por meio das chamadas multiplicações de matrizes, por exemplo, no aprendizado de máquina, na criação de gráficos de computador, em simulações de todos os tipos ou na compressão de dados.
Mesmo pequenos ganhos de eficiência na multiplicação de matrizes podem, portanto, ter um grande impacto. Os matemáticos têm procurado algoritmos mais eficientes para a multiplicação de matrizes há décadas.
Em 1969, o matemático alemão Volker Strassen desenvolveu um algoritmo particularmente eficiente que poderia resolver multiplicações de matrizes 4 × 4 com 49 em vez de 64 multiplicações. Isso foi há cerca de 50 anos, mas o algoritmo de Strassen ainda está em uso hoje, não tendo sido superado.
Do AlphaZero ao AlphaTensor: o jogo do algoritmo
O mais recente sistema de IA da Deepmind, AlphaTensor, baseado no jogo de tabuleiro de uso geral AI AlphaZero introduzido em 2018, descobriu agora um novo algoritmo que é considerado mais rápido que o algoritmo de Strassen e tem o “potencial de melhorar a eficiência em 10 a 20% em trilhões de cálculos por dia”. De acordo com o CEO da Deepmind, Demis Hassabis .
Para treinar o AlphaTensor, a equipe de pesquisa do Deepmind transformou o problema de multiplicação de matrizes em uma espécie de jogo de tabuleiro 3D, onde cada movimento resulta em um bloco de construção de um novo algoritmo. O AlphaTensor foi recompensado por gerar um novo algoritmo no menor número de etapas possível, escolhendo entre trilhões de movimentos a cada vez. Deepmind chama isso de “Jogo do Tensor”.
Menos etapas de cálculo para o resultado
O Deepmind fez com que o AlphaTensor processasse no máximo 5 × 5 matrizes de entrada. No processo, o AlphaTensor descobriu independentemente o algoritmo de Strassen e outros métodos já conhecidos. O sistema de IA também desenvolveu novos algoritmos que, segundo a Deepmind, são mais eficientes do que os existentes anteriormente.
Por exemplo, o recorde para uma matriz 5×5 era anteriormente de 80 multiplicações; um novo algoritmo AlphaTensor requer apenas 76. A multiplicação 4 × 4 mencionada no início, que Strassen reduziu para 49 etapas, AlphaTensor otimiza para 47 etapas. Tais ganhos de eficiência foram alcançados por algoritmos gerados pelo AlphaTensor para mais de 70 multiplicações de matrizes.
Os pesquisadores do Deepmind estão impressionados com o grande número de maneiras possíveis de multiplicar matrizes. Além disso, o AlphaTensor pode desenvolver algoritmos específicos de hardware que dizem rodar até 20% mais rápido do que os algoritmos usados atualmente em TPUs do Google e V100 da Nvidia, por exemplo, que são frequentemente usados para aprendizado de máquina.
IA para ciência
Para a Deepmind, o AlphaTensor em particular é mais uma demonstração de como o progresso na inteligência artificial pode proporcionar progresso em outras disciplinas científicas. O trabalho também mostra que o sistema AlphaZero, que na verdade foi desenvolvido para jogos tradicionais, pode resolver problemas matemáticos muito além dessa área.
“Este artigo é um trampolim na missão da DeepMind de avançar a ciência e desvendar os problemas mais fundamentais usando IA”, escreve Deepmind.
Dr. Markus Bläser, professor de complexidade computacional na Saarland University, destaca positivamente o método de adaptação automática de algoritmos de multiplicação para hardware selecionado, pois isso “seria muito difícil para um ser humano”.
Caso contrário, o trabalho da Deepmind contribui para a compreensão teórica da multiplicação de matrizes em pequenas matrizes, disse ele. A única melhoria em relação ao algoritmo de Strassen é o novo limite superior para a multiplicação de matrizes de tamanho quatro.
“Por outro lado, para entender melhor a complexidade teórica da multiplicação de matrizes, os subproblemas considerados nas pesquisas atuais sobre isso são tão grandes e complexos que não vejo nenhuma aplicação para busca automática aqui no momento”, diz Bläser.
O Prof. A aceleração em comparação com os métodos conhecidos é relativamente pequena, disse ele. Ele não espera que os algoritmos construídos automaticamente encontrem uso imediato em aplicações práticas.
“O trabalho é, sem dúvida, de interesse técnico para especialistas em design de algoritmos automáticos como eu e meus colegas, mas não espero que nenhum avanço real em pesquisa ou prática seja feito imediatamente com base nele”, diz Hoos, que considera a abordagem metodológica “sem dúvida interessante.”