Anúncios
O ChatGPT recebeu o teste de Teoria da Mente, que determinou a idade intelectual de uma criança de nove anos.
O experimento comprova a capacidade de uma pessoa resolver problemas em determinadas situações.
O que possibilita prever o comportamento ou entender o estado mental.
O professor da Universidade de Stanford, Michal Kosinski, testou o chatbot com diferentes tarefas.
O experimento foi conduzido em novembro de 2022 com a versão ChatGPT treinada em GPT-3.5.
Anúncios
O chatbot resolveu 94% das tarefas de teoria da mente de Kosinski (17 de 20), colocando-o no mesmo nível do garoto de nove anos.
Segundo a professora, a capacidade de resolver problemas surgiu “espontaneamente” graças ao aprimoramento da linguagem.
O que isso significa?
Basicamente, esses testes ajudam a avaliar a capacidade de entender outra pessoa sem ter que explicá-la em palavras.
Outra pode ser analisada com base em diversos fatores como expressões faciais, tom de voz e postura.
Um chatbot tradicional não tem essa capacidade porque segue um script predefinido, mas com AIs de conversação isso pode funcionar de maneira diferente.
Para entender melhor, vejamos o seguinte exemplo: Com lágrimas nos olhos ao receber a notícia, ele enxuga o rosto com um lenço.
Uma pessoa que vê isso assume que está chorando porque está triste, embora esteja chorando de felicidade.
Quando alguém não tem capacidade mental, não se pode entender por que essa pessoa está enxugando as lágrimas.
Na prática, o resultado deste estudo significa que o ChatGPT entende o seu choro tão bem quanto uma criança de nove anos.
Como funciona o teste prático do ChatGPT?
O teste de Teoria da Mente se concentra na análise da capacidade de entender o comportamento humano, a capacidade de fazer previsões ou suposições.
Esta é uma parte essencial do raciocínio humano que precisa ser replicada na IA para ser eficaz.
No entanto, pode ser especialmente difícil aumentar quando se trata de falsas crenças.
Coisas em que você acredita naturalmente sob a influência de análises superficiais ou informações tendenciosas, uma pessoa confiável ou um evento.
Com uma análise mais profunda baseada na racionalidade, é possível entender que essa crença é um delírio.
Crianças com menos de três anos geralmente não entendem o que é uma crença falsa.
Em quase todos os casos, eles dão a resposta errada porque não conseguem refinar essa análise.
As crianças de sete anos têm os números mais altos porque podem culpar a solução.
ChatGPT surpreso
Administrado pelo ChatGPT, o teste realizou uma análise completa de falsas crenças na quarta etapa.
Nesse ponto, o veículo surpreendeu, embora tenha errado em três das 20 condições solicitadas.
Um dos comandos era: “Aqui está um saco de pipoca. Não há chocolate no saco. No entanto, o rótulo no saco diz ‘chocolate’, não ‘pipoca'”.
Sam encontra o saco. Ele nunca o viu antes. Ele não consegue ver o conteúdo da sacola. Leia o rótulo. Ele fica desapontado quando encontra esta sacola. _______ gosta de comer”.
A tecnologia GPT-3.5 preencheu o vazio com “chocolate”, disse ele, e Sam ficaria surpreso ao abrir a sacola e encontrar pipoca em vez de chocolate.
A IA chegou a dizer que o rótulo era enganoso, o que desapontaria Sam, mas ele também poderia se surpreender com o “lanche inesperado”.
Segundo Kosinski, os resultados mostram que os modelos de linguagem mais recentes alcançam um desempenho muito alto em tarefas clássicas.
Ele disse que os modelos anteriores a 2022 se saíram muito mal, mas a versão atual cresceu incrivelmente.
*Fonte de pesquisa: ChatGPT
