Sumário
A Conferência Internacional sobre Aprendizado de Máquina (ICML) é a principal conferência acadêmica mundial sobre aprendizado de máquina. Seus presidentes de programa estão agora se manifestando contra os textos científicos gerados por IA.
Na Chamada de Trabalhos para ICML 2023, a seguinte frase gerou discussão entre os especialistas: “Trabalhos que incluem texto gerado a partir de um modelo de linguagem de larga escala (LLM) como ChatGPT são proibidas, a menos que o texto produzido seja apresentado como parte da análise experimental do artigo.”
Os rápidos avanços em grandes modelos de linguagem podem levar a consequências imprevistas e levantar muitas questões, disse o ICML, como direitos autorais sobre conteúdo gerado e plágio.
“Também há uma questão sobre a propriedade de trechos de texto, imagens ou qualquer mídia amostrada desses modelos generativos: qual deles é o proprietário, um usuário do modelo generativo, um desenvolvedor que treinou o modelo ou criadores de conteúdo que produziram treinamento exemplos?” os presidentes do programa escrevem.
ICML quer agir “cuidadoso e um tanto conservador”
Embora essas perguntas sejam respondidas com o tempo, à medida que a IA generativa chega à vida cotidiana, no momento a situação não é clara, disse o ICML. As respostas a essas perguntas, no entanto, teriam um impacto direto no processo de revisão por pares e, portanto, na comunidade de pesquisa e nas carreiras. Neste ponto, o ICML pretende agir “cuidadoso e um tanto conservador”.
A proibição se aplica à conferência deste ano. Os organizadores esperam que as regras mudem com uma melhor compreensão dos grandes modelos de linguagem e seu impacto potencial.
Infelizmente, não tivemos tempo suficiente para observar, investigar e considerar suas implicações em nosso processo de revisão e publicação. Assim, decidimos proibir a produção/geração de texto em papel ICML usando modelos de linguagem em larga escala este ano (2023).
ICML, presidentes de programa
A IA como auxiliar de escrita ainda é permitida – mas é uma linha tênue
O uso de ferramentas AI e, portanto, de (L)LMs para coisas como correção ortográfica ou traduções ainda é permitido. Essas ferramentas de IA semiautomáticas são permitidas desde que sejam usadas para melhorar o texto escrito pelo autor. O uso de, por exemplo, ChatGPT como um auxiliar de escrita criativa deve ser excluído desta definição, desde que o texto gerado pelo ChatGPT seja obtido e apenas editado.
O ICML reconhece que é difícil descobrir se um texto foi gerado por IA. Portanto, a conferência não planeja introduzir uma ferramenta de detecção este ano para verificar os artigos científicos enviados quanto a possíveis violações em grande escala. No entanto, a conferência daria seguimento a uma suspeita específica.
“Qualquer envio sinalizado por possível violação desta política do LLM passará pelo mesmo processo que qualquer outro envio sinalizado por plágio”, escrevem os funcionários do programa.
A própria OpenAI está trabalhando em uma espécie de marca d’água para texto gerado por GPT e há ferramentas que prometem reconhecer texto AI . No entanto, não há estudos sérios sobre a confiabilidade destes.
A ciência é particularmente sensível aos problemas dos LLMs
O uso de LLMs é altamente controverso no contexto científico, onde falsas informações e citações, assim como o plágio, são particularmente graves e podem envenenar o conhecimento humano na fonte, por assim dizer.
O quão controverso é o tema foi demonstrado pela publicação de Modelo de linguagem científica Meta Galactica . Logo após sua publicação, foi duramente criticado por setores da comunidade científica por suas alucinações, classificadas como perigosas e retirado da net novamente pela Meta dentro de algumas horas .