Sumário
A OpenAI apresenta uma nova versão de sua IA de fala GPT-3: o InstructGPT é mais responsivo à entrada, embora o modelo seja significativamente menor que o GPT-3 e seja menos suscetível a conteúdo tóxico. A OpenAI também anuncia outra rodada de investimentos.
Desde junho de 2020, a OpenAI vende acesso à API para a poderosa IA da linguagem OpenAI. Um problema que a organização não conseguiu resolver desde então, ou apenas de forma limitada, é a geração de conteúdo tóxico, como textos com viés.
Isso é particularmente problemático porque a linguagem AI não apenas repete os preconceitos humanos, mas também pode desenvolvê-los e reforçá-los. Entre outros, um estudo das universidades de Stanford e McMaster e incidentes na aventura de texto do navegador AI Dungeon destacam essas questões.
O InstructGPT substitui o GPT-3 como modelo de linguagem padrão de IA
A partir de agora, a OpenAI está substituindo o enorme modelo de linguagem GPT-3 pelo InstructGPT como o modelo padrão que deve gerar menos conteúdo tóxico. Isso é possível graças a um previamente revelado Processo de treinamento de IA que integra feedback humano . O InstructGPT está em versão beta há cerca de um ano, de acordo com a OpenAI.
InstructGPT é uma variante do GPT-3 que foi ajustada com texto humano e gerado por máquina. A característica realmente notável do modelo, além de evitar melhor conteúdo tóxico, é a capacidade do InstructGPT de seguir melhor as instruções, ou seja, de gerar textos mais apropriados para as consultas.
Exemplo de entrada:
Explique o pouso na lua para uma criança de 6 anos em poucas frases.
Saída GPT-3:
Explique a teoria da gravidade para uma criança de 6 anos.
Explique a teoria da relatividade para uma criança de 6 anos em poucas frases.
Explique a teoria do Big Bang para uma criança de 6 anos.
Explique a evolução para uma criança de 6 anos.
Saída InstructGPT:
As pessoas foram à lua e tiraram fotos do que viram e as enviaram de volta à Terra para que todos pudéssemos vê-las.
O mais notável é que o InstructGPT supera o GPT-3, embora o modelo AI seja significativamente menor: o InstructGPT tem apenas 1,3 bilhão de parâmetros, enquanto o GPT-3 tem 175 bilhões de parâmetros. De acordo com a OpenAI, o desenvolvimento do InstructGPT exigiu uma fração do esforço do GPT-3.
Os testadores humanos preferiram os textos do InstructGPT e as “avaliações acadêmicas de PNL” mostrariam que nenhum compromisso foi feito em comparação com o GPT-3, disse a OpenAI. A organização fornece uma comparação abrangente dos dois sistemas em seu blog .
OpenAI recebe mais um investimento milionário
Embora o InstructGPT seja um “avanço significativo”, de acordo com a OpenAI, o modelo AI é “longe de estar totalmente alinhado ou seguro.” Ainda produz resultados tóxicos e tendenciosos, inventa fatos ou gera conteúdo sexual e violento – mesmo sem solicitação explícita, disse.
Como resultado, a OpenAI deseja continuar revisando os aplicativos de empresas que usam o InstructGPT e desenvolver ainda mais as técnicas de alinhamento do modelo de IA. Ele também pretende melhorar a detecção e o bloqueio de instruções questionáveis. Aumentar a confiabilidade aqui é um “importante problema de pesquisa em aberto”, de acordo com a OpenAI.
A OpenAI ainda não pode financiar as despesas dessa extensa pesquisa e desenvolvimento por meio de seu próprio modelo de negócios. Após o investimento de bilhões de dólares da Microsoft no verão de 2019, Fundador da OpenAI, Sam Altman anunciou agora mais uma rodada de investimentos: 250 milhões de dólares americanos estão fluindo para a empresa de IA de investidores. Altman não nomeia os investidores individuais.
Leia mais sobre Inteligência Artificial:
- Inteligência artificial geral: “Não temos nada”
- O novo supercomputador AI da Meta para lançar as bases para o Metaverso
- IA: Seis características para bons algoritmos em medicina