ChatGPT erra mais de 50% de suas respostas

Apesar de o ChatGPT contar com alguns feitos incríveis, ele não é 100% confiável e também pode errar. Um estudo da Purdue University fez diversas perguntas relacionadas à programação e a ferramenta da OpenAI acertou apenas 48% das questões. Você pode conferir o documento na íntegra neste link, mas está completamente em inglês.

ChatGPT erra muito quando se trata de programação

O estudo em questão, escrito pelos pesquisadores Samia Kabir, David Udo-Imeh, Bonan Kou e professor assistente Tianyi Zhang contou com 517 perguntas ao ChatGPT e uma dúzia de participantes voluntários para falarem sobre os resultados e decidirem se as respostas estavam corretas.

O resultado não é muito animador, já que apenas 48% das questões estavam certas. Além disso, 77% das respostas eram genéricas e não necessariamente poderiam ser consideradas facilmente verificáveis.

O estudo da Purdue busca deixar claro que, apesar dos avanços intensos da inteligência artificial, a tecnologia ainda carece de uma base intensa e, atualmente, não entende as nuances de subjetividades de quaisquer questões.

Inteligência artificial não lida bem com subjetividade

“Durante nosso estudo, observamos que somente quando o erro na resposta do ChatGPT é óbvio, os usuários podem identificar o erro”, afirma o artigo. “No entanto, quando o erro não é prontamente verificável, requer IDE ou documentação externa, os usuários muitas vezes não conseguem identificar a incorreção ou subestimam o grau de impropriedade na resposta.”

“Muitas respostas estão incorretas devido à incapacidade do ChatGPT de entender o contexto subjacente da pergunta que está sendo feita”, explica o jornal. “A partir de entrevistas semiestruturadas, é evidente que a linguagem educada, respostas articuladas e de estilo de livro de texto, abrangência e afiliação nas respostas fazem com que explicações completamente erradas pareçam corretas”.

Algumas grandes empresas já alertaram sobre informações erradas de Chatbots, incluindo o próprio Google. De modo geral a IA deve ser utilizada como um auxílio e não para “trabalhar no seu lugar” porque as ferramentas não estão perfeitas e podem errar.