Sumário
Em um experimento de campo, os pesquisadores usam a ajuda de frases em tempo real de um modelo de linguagem para melhorar a qualidade da discussão em um bate-papo sobre o controle de armas nos Estados Unidos. O experimento apóia a tese dos pesquisadores de que os chatbots podem ter um impacto positivo na cultura do debate.
No total, os pesquisadores recrutaram 1.574 pessoas com diferentes pontos de vista sobre o controle de armas nos Estados Unidos. Os participantes discutiram o assunto em uma sala de bate-papo online.
O cenário perfeito para caos, raiva e contenda? Aparentemente, não quando um modelo de linguagem focado em bondade e apreciação apoia a discussão.
Dois terços das sugestões de IA aceitas
Um grande modelo de linguagem (GPT-3) lê conversas e sugere palavras alternativas antes que a mensagem seja enviada. A sugestão destina-se a tornar a mensagem mais reconfortante, validadora ou educada.
Os sujeitos podem optar por usar o texto sugerido, alterá-lo ou manter sua mensagem original. No total, o GPT-3 fez 2.742 sugestões de melhoria, que foram aceitas em dois terços das vezes, ou 1.798 vezes. Uma conversa durava em média doze mensagens, e os participantes eram pagos.
Segundo a equipe, o experimento foi motivado principalmente pela rápida escalada de debates nos canais digitais e se a IA pode ajudar a melhorar a cultura de discussão lá.
“Essa toxicidade aumenta a polarização e corrói a capacidade de diversas sociedades de cooperar na solução de problemas sociais”, diz o documento.
Grandes modelos de linguagem devem promover compreensão e respeito
Os resultados do experimento apóiam a hipótese da equipe de que um modelo de linguagem pode melhorar a cultura de discussão online: De acordo com pesquisador participante Chris Rytting, um Ph.D. candidato da Universidade Brigham Young, as sugestões de IA tiveram “efeitos significativos em termos de diminuição da divisão e aumento da qualidade da conversa, deixando as opiniões políticas inalteradas”.
Usamos três abordagens de estimativa de efeito e todas elas encontraram efeitos significativos em termos de diminuição da divisão e aumento da qualidade da conversa, ao mesmo tempo em que mantiveram inalteradas as opiniões políticas
5/7 pic.twitter.com/We0Br9WnNC— Chris Rytting (@ChrisRytting) May 5, 2023
Os pesquisadores mediram essas melhorias usando análise de texto de conversas antes e depois de uma sugestão de IA, bem como um questionário pré e pós-chat. Uma pesquisa de acompanhamento quase três meses após o experimento verificou se as intervenções do chatbot tiveram um efeito duradouro nos participantes, e a equipe não encontrou anomalias.
As opiniões políticas não foram afetadas pelo modelo de linguagem, disseram os pesquisadores. Mesmo que as divergências persistam, o discurso político de alta qualidade é bom para a coesão social e a democracia de uma sociedade, disseram eles.
“Esse diálogo é uma condição necessária, mesmo que insuficiente, para aumentar a compreensão mútua, o compromisso e a construção de coalizões.”
O próximo passo pode ser confirmar e aprofundar essas descobertas em estudos posteriores em condições da vida real, como conversas não remuneradas e mais longas entre familiares ou amigos.