Qual política o ChatGPT defende? Um estudo mostra que a IA está no lado esquerdo do espectro político.
O lançamento do OpenAI ChatGPT catapultou a tecnologia de grandes modelos de linguagem aos olhos do público. Já está a provocar mudanças na sociedade, por exemplo no sistema de educação : escolas e universidades estão tentando lidar com as possibilidades de tais sistemas – ou bani-los.
Diante da perspectiva de que o ChatGPT e outros modelos de linguagem serão usados por mais e mais pessoas e alterar pesquisas na Internet pelo Google ou Bing no futuro, os pesquisadores estão fazendo perguntas sobre a orientação política do ChatGPT.
“Se alguma coisa vai substituir a pilha atual do mecanismo de pesquisa do Google, são futuras iterações de modelos de linguagem de IA, como o ChatGPT, com o qual as pessoas vão interagir diariamente para tarefas de tomada de decisão”, disse o pesquisador David Rozado. “Modelos de linguagem que reivindicam neutralidade e precisão política (como o ChatGPT faz) enquanto exibem vieses políticos devem ser uma fonte de preocupação.”
Quão política a IA pode ser?
A pesquisa de Rozado mostra para que lado está balançando o pêndulo político da IA de bate-papo da OpenAI. Logo após o lançamento do ChatGPT no final de novembro de 2022, já havia diversos artigos abordando as tendências da IA: ” ChatGPT não é politicamente neutro “, ” OpenAI Chatbot revela reflexões tendenciosas, apesar das barreiras “, ” Bot ChatGPT da OpenAI recria perfis raciais “
Na verdade, não foi tão surpreendente: o viés nos modelos de IA tem sido um problema há muito tempo, inclusive em modelos generativos de conversão de texto em imagem como Difusão estável e DALL-E que demonstraram reforçar os estereótipos raciais.
Rozado submeteu o ChatGPT a vários testes de viés político três vezes, primeiro em 5 e 6 de dezembro de 2022, depois cerca de duas semanas depois e depois de 9 de janeiro.
No primeiro teste, ele concluiu que o ChatGPT poderia ser claramente classificado como pertencente ao grupo dos “Liberais do Estabelecimento”. No entanto, uma repetição dos testes colocou o ChatGPT mais próximo do centro político, levando Rozado a acreditar que a OpenAI estava moderando o ChatGPT para o centro político.
“Algo parece ter mudado no ChatGPT e suas respostas aos testes de orientação política gravitaram para o centro em três dos quatro testes”, escreveu Rozado em seu Boletim de Notícias . “Isso contrasta fortemente com apenas duas semanas atrás.”
Anteriormente, no Political Compass Test, o ChatGPT havia se pronunciado contra a pena de morte e o livre mercado, mas a favor do aborto, mais impostos para os ricos, subsídios do governo, benefícios sociais para quem se recusa a trabalhar e imigração, entre outras coisas .
De acordo com Rozado, a explicação mais provável para a orientação política do ChatGPT é que o sistema foi treinado em um grande corpus de dados de texto da Internet escritos por profissionais, a maioria dos quais são politicamente de esquerda. Existem outras possibilidades de influência humana no ajuste fino e na avaliação humana das respostas da máquina (RLHF).
Rozado tirou uma conclusão positiva após a investigação de dezembro sobre como o OpenAI, ao que tudo indica, corrige as tendências políticas do ChatGPT. “Aprecio o sistema que luta pela neutralidade e tenta fornecer argumentos para ambos os lados em diferentes questões.”
Mas essa conclusão provisória agora está aparentemente se mostrando prematura.
Nova investigação: ChatGPT é claramente de esquerda
Depois de análise pós-9 de janeiro Rozado revisa essa suposição: de acordo com o novo teste, 14 dos 15 testes de orientação política revelaram pontos de vista de esquerda.
De acordo com Rozado, suas análises de 6 de dezembro de 2022 e 24 de dezembro de 2022 do viés político do ChatGPT foram preliminares e baseadas em dados limitados. Os resultados agora são mais robustos, disse ele, e ele pode dizer com maior certeza que o ChatGPT “de fato exibe uma preferência por respostas de esquerda para perguntas com conotações políticas”.
“Os sistemas éticos de IA devem tentar não favorecer algumas crenças políticas em detrimento de outras em questões amplamente normativas que não podem ser julgadas com dados empíricos”, diz Rozado. “Definitivamente, os sistemas de IA não devem fingir fornecer informações neutras e factuais enquanto exibem um claro viés político”.
Suas descobertas são apoiadas por um estudo de pesquisadores alemães sobre a orientação política do ChatGPT.
“Incentivando o ChatGPT com 630 declarações políticas de dois dos principais aplicativos de aconselhamento eleitoral e o teste de bússola política agnóstica de nação em três experimentos pré-registrados, descobrimos a ideologia pró-ambiental e libertária de esquerda do ChatGPT”, diz seu papel publicado no início de janeiro de 2023.