OpenAI lança um novo modelo de linguagem para GPT-3 treinado com feedback humano. Ele traz inúmeras melhorias, de acordo com a OpenAI.
O novo modelo GPT-3 “text-davinci-003” é baseado no InstructGPT modelos introduzidos pela OpenAI no início deste ano, que são otimizados com feedback humano. Esses modelos já mostraram que modelos de IA treinados com RLHF (Reinforcement Learning from Human Feedback) podem obter melhores resultados com os mesmos parâmetros ou até mesmo com parâmetros menores.
De acordo com o pesquisador de alinhamento da OpenAI, Jan Leike, “text-davinci-003” é amplamente equivalente aos modelos InstructGPT, mas não é idêntico. O novo modelo “pontua mais alto nas classificações de preferência humana sem ser fundamentalmente mais capaz” do que o modelo básico subjacente. Para o ajuste fino, o OpenAI exigia “muito pouca computação e dados para alinhá-lo em comparação com o pré-treinamento”.
Leike aponta que o novo modelo GPT ainda tem “limitações importantes” e, por exemplo, às vezes simplesmente inventa coisas. No entanto, tais erros devem agora “esperançosamente” ser menos frequentes e menos graves.
O modelo definitivamente ainda tem limitações importantes! Basicamente, todos os da nossa postagem anterior no blog ainda serão aplicados, mas esperamos que sejam menos graves / mais raramente agora. https://t.co/r8zWWYSIJ6
– Jan Leike (@janleike) 28 de novembro de 2022
OpenAI primeiro revelou o processo de treinamento de feedback humano em setembro de 2019 com base no GPT-2. A empresa de IA considera o feedback humano no processo de treinamento de IA e, portanto, o alinhamento da IA com as necessidades humanas para ser a base da IA amigável ao ser humano.
Novo modelo GPT-3 gera texto melhor e pode lidar com instruções mais complexas
“texto-davinci-003” pode gerar “conteúdo mais claro, mais envolvente e mais atraente” e lidar instruções mais complexas de acordo com a OpenAI.
Para obter instruções, os usuários não apenas informam ao GPT-3 qual texto gerar, mas também fornecem exemplos de texto ou descrevem as etapas a serem executadas. Por meio desses prompts únicos, os usuários descobriram recursos do modelo além da geração de texto que não foram previstos pelo OpenAI.
Por exemplo, GPT-3 pode controlar o Excel traduzir texto ou raciocinar em cadeias de pensamento . Tal capacidades emergentes são um fenômeno de grandes modelos de linguagem . De acordo com a OpenAI, o novo modelo de linguagem oferece mais liberdade criativa nessa área.
“texto-davinci-003” também pode escrever textos mais longos, de acordo com a OpenAI. Como resultado, a linguagem AI agora pode assumir tarefas que antes eram inviáveis. O exemplo a seguir compara o mesmo prompt entre o modelo antigo (002) e o novo (003).
texto-davinci-002:
Estou tentando escrever um aplicativo da web. Quais estruturas de back-end eu poderia usar e quais são seus prós e contras?
Existem muitas estruturas de back-end que podem ser usadas para um aplicativo da web. Alguns populares incluem Django, Ruby on Rails e Express.js. Cada uma dessas estruturas tem seus próprios prós e contras, por isso é importante escolher uma que atenda às necessidades específicas de seu aplicativo.
`texto-davinci-003:
Estou tentando escrever um aplicativo da web. Quais estruturas de back-end eu poderia usar e quais são seus prós e contras?
1. Node.js: Node.js é um ambiente de tempo de execução baseado em JavaScript que é popular para escrever aplicativos de back-end. Prós: Node.js é rápido, leve e fácil de aprender, e tem uma grande comunidade de desenvolvedores. Contras: Node.js pode ser difícil de depurar e há uma falta
de ferramentas robustas para a construção de aplicações de grande escala.2. Django: Django é um popular framework web baseado em Python. Prós: o Django é poderoso e bem documentado, tornando mais fácil começar. Ele também oferece suporte a uma ampla variedade de bancos de dados e APIs, permitindo a integração fácil com outros serviços. Contras: Django pode ser difícil de escalar para aplicações grandes e pode ser lento para certos tipos de requisições.
3. Ruby on Rails: Ruby on Rails é um framework web popular baseado na linguagem de programação Ruby. Prós: Ruby on Rails é fácil de aprender e pode ser usado para construir rapidamente aplicações web poderosas. Ele também possui uma ampla gama de recursos integrados, como autenticação e autorização. Contras: Ruby on Rails pode ser lento e consumir muitos recursos, além de ser difícil de escalar.
O preço do novo modelo é o mesmo de antes. De acordo com rumores no Twitter e no Reddit, a OpenAI poderia apresentar o sucessor do GPT-3, o GPT-4, no primeiro trimestre de 2023. A OpenAI está atualmente executando um programa de financiamento que provavelmente dará aos primeiros participantes acesso ao GPT-4.
Co-fundador da OpenAI Wojciech Zaremba descreveu novos recursos potenciais dos próximos modelos de linguagem em setembro . Ele acredita que a IA terá um impacto semelhante ou até maior na comunicação humana do que a Internet.