O aparecimento da plataforma ChatGPT, lançada pela OpenAI, apanhou de surpresa muitas pessoas que desconheciam os mais recentes avanços da inteligência artificial. Porém, o ChatGPT representa uma clara evolução na continuidade de uma linha de investigação em inteligência artificial que, desde há alguns anos, tem conseguido resultados notáveis, escreve o professor Arlindo Oliveira.
O ChatGPT pode ser visto como a mais recente encarnação de modelo da grande família de grandes modelos de linguagem, também chamados de modelos fundacionais. Estes modelos resultam da combinação de dois factores importantes: a utilização de uma família de arquitecturas de redes neuronais artificiais (transformadores ou transformers, em inglês) e a aplicação de uma metodologia que consiste em treinar estas arquitecturas com grandes volumes de dados extraídos da Internet. Alguns destes modelos são treinados também com imagens, permitindo associar textos e imagens e executar tarefas relacionadas, tais como gerar uma imagem a partir de um texto.
Este tipo de arquitectura, o transformador, foi proposto por um artigo científico publicado em 2017 e teve um impacto quase imediato na comunidade científica. Esta arquitectura de redes neuronais faz um uso muito eficaz do tipo de computadores mais usados para treinar estas redes (GPUs, ou graphics processing units) e foi originalmente desenvolvida para permitir que as redes neuronais pudessem relacionar palavras distantes entre si numa frase ou fragmento de texto. Os transformadores vieram a revelar-se muito eficazes em tarefas relacionadas com linguagem, tais como responder a uma pergunta, ou prever uma palavra oculta numa frase.
No entanto, o verdadeiro potencial desta arquitectura revelou-se apenas quando estes modelos começaram a ser treinados com grandes volumes de dados retirados da Internet.
Um dos maiores destes modelos, o GPT-3, disponibilizado em 2020, foi treinado em textos que um ser humano demoraria 5000 anos a ler, se lesse durante 24 horas por dia. O GPT-3 (Generative Pre-Trained Transformer), o terceiro da sua linhagem, é usado pelo ChatGPT e foi treinado para prever a próxima palavra numa sequência de palavras, uma capacidade que lhe permite, por exemplo, responder a perguntas, completar textos ou elaborar artigos. Dada uma sequência de palavras, o GPT-3 consegue adivinhar quais as palavras mais prováveis que se seguem e, escolhendo uma destas palavras, pode gerar textos longos, simplesmente olhando para as palavras anteriores e prevendo as próximas.
O verdadeiro potencial revelou-se quando estes modelos começaram a ser treinados com grandes volumes de dados retirados da Internet. O GPT-3, disponibilizado em 2020, foi treinado em textos que um ser humano demoraria 5000 anos a ler, se lesse durante 24 horas por dia
Arlindo Oliveira
A complexidade destes modelos mede-se pelo número de parâmetros que têm, sendo que o GPT-3 usa 175 mil milhões de parâmetros. Cada um dos parâmetros de uma destas redes representa o peso de uma ligação entre dois neurónios da rede neuronal artificial, um pouco como as sinapses que interligam os neurónios biológicos que temos no nosso cérebro. Por enquanto, os cérebros humanos ainda são muito mais complexos que estes modelos. Estimam-se que existam cerca de mil biliões de sinapses (existe grande incerteza sobre este número) num cérebro humano, um número mais de mil vezes superior ao número de parâmetros dos maiores modelos de linguagem de hoje. Mas uma comparação directa entre o cérebro humano e estes modelos acaba por ter pouco significado, porque os princípios de funcionamento e a forma como aprendem são muito diferentes.
Como funciona, afinal, o ChatGPT e qual a razão porque atingiu tão rapidamente a fama, sendo hoje a plataforma de inteligência artificial mais conhecida do planeta? O ChatGPT representa, de facto, uma pequena mas significativa alteração ao GPT-3, que é o modelo de linguagem subjacente que é usado pelo ChatGPT. Quando se interage directamente com o GPT-3, ele tem tendência a gerar respostas que não são o que esperávamos, inventando frequentemente factos inexistentes ou divergindo de formas inesperadas. O ChatGPT foi treinado para analisar as sugestões de textos feitas pelo GPT-3 e, de entre as várias possibilidades (existe sempre mais de uma palavra possível para completar uma frase), gerar aquelas que parecem mais naturais para um ser humano.
Dezenas de pessoas trabalharam intensamente para escolher de entre as diversas possibilidades de resposta geradas pelo GPT-3 quais as mais adequadas e estas preferências foram introduzidas no ChatGPT, usando um mecanismo conhecido como aprendizagem por reforço baseado nas preferências humanas. A aprendizagem por reforço é o mesmo mecanismo que permitiu desenvolver o sistema que é hoje o melhor jogador de Xadrez e Go, o AlphaZero, desenvolvido pela DeepMind, uma empresa do grupo Google. De entre as miríades de possibilidades de completar uma frase, ou responder a uma pergunta, propostas pelo GPT-3, o ChatGPT foi treinado para escolher aquelas que são preferidas pelos seres humanos.
Pela primeira vez, um sistema de inteligência artificial é capaz de dialogar com seres humanos sem cometer erros demasiado óbvios.
Arlindo Oliveira
A complexidade destes modelos mede-se pelo número de parâmetros que têm, sendo que o GPT-3 usa 175 mil milhões de parâmetros. Cada um dos parâmetros de uma destas redes representa o peso de uma ligação entre dois neurónios da rede neuronal artificial, um pouco como as sinapses que interligam os neurónios biológicos que temos no nosso cérebro. Por enquanto, os cérebros humanos ainda são muito mais complexos que estes modelos. Estimam-se que existam cerca de mil biliões de sinapses (existe grande incerteza sobre este número) num cérebro humano, um número mais de mil vezes superior ao número de parâmetros dos maiores modelos de linguagem de hoje. Mas uma comparação directa entre o cérebro humano e estes modelos acaba por ter pouco significado, porque os princípios de funcionamento e a forma como aprendem são muito diferentes.
Como funciona, afinal, o ChatGPT e qual a razão porque atingiu tão rapidamente a fama, sendo hoje a plataforma de inteligência artificial mais conhecida do planeta? O ChatGPT representa, de facto, uma pequena mas significativa alteração ao GPT-3, que é o modelo de linguagem subjacente que é usado pelo ChatGPT. Quando se interage directamente com o GPT-3, ele tem tendência a gerar respostas que não são o que esperávamos, inventando frequentemente factos inexistentes ou divergindo de formas inesperadas. O ChatGPT foi treinado para analisar as sugestões de textos feitas pelo GPT-3 e, de entre as várias possibilidades (existe sempre mais de uma palavra possível para completar uma frase), gerar aquelas que parecem mais naturais para um ser humano.
Dezenas de pessoas trabalharam intensamente para escolher de entre as diversas possibilidades de resposta geradas pelo GPT-3 quais as mais adequadas e estas preferências foram introduzidas no ChatGPT, usando um mecanismo conhecido como aprendizagem por reforço baseado nas preferências humanas. A aprendizagem por reforço é o mesmo mecanismo que permitiu desenvolver o sistema que é hoje o melhor jogador de Xadrez e Go, o AlphaZero, desenvolvido pela DeepMind, uma empresa do grupo Google. De entre as miríades de possibilidades de completar uma frase, ou responder a uma pergunta, propostas pelo GPT-3, o ChatGPT foi treinado para escolher aquelas que são preferidas pelos seres humanos.
Pela primeira vez, um sistema de inteligência artificial é capaz de dialogar com seres humanos sem cometer erros demasiado óbvios.
Arlindo Oliveira
O resultado final foi um sistema que, pela primeira vez, é convincente de um ponto de vista das respostas que gera e dos textos que escreve. Embora seja possível, e não muito difícil, fazer com que o ChatGPT erre ou gere informação errada, de uma forma geral os textos e as respostas são adequados, convincentes e esclarecedores. Pela primeira vez, um sistema de inteligência artificial é capaz de dialogar com seres humanos sem cometer erros demasiado óbvios. Combinando este facto com a enorme quantidade de informação que foi usada para treinar o modelo de linguagem subjacente resultou num sistema que, embora puramente estatístico, contém uma enorme quantidade de conhecimento e é capaz de o usar para responder aos mais diversos tipos de solicitações.
O ChatGPT não passa, ainda, o teste de Turing, e talvez nunca nenhuma máquina venha a consegui-lo. Muitos investigadores acreditam, de resto, que esse não será um objectivo particularmente relevante. Mas isso não significa que o ChatGPT não seja uma ferramenta útil e impressionante. Modelos deste tipo irão tornar-se progressivamente mais comuns e irão, seguramente, mudar a forma como interagimos uns com os outros e com os computadores. Podemos estar a assistir ao começo de uma nova era na forma como usamos e interagimos com as máquinas.
Autor
Arlindo Oliveira
Professor catedrático e especialista em inteligência artificial
