Acontece que dizer para um chatbot de IA ser conciso pode fazer com que ele tenha mais alucinações do que teria de outra forma.
É o que afirma um novo estudo da Giskard, empresa de testes de IA sediada em Paris que desenvolve um benchmark holístico para modelos de IA. Em uma publicação de blog detalhando suas descobertas, pesquisadores da Giskard afirmam que solicitações com respostas mais curtas a perguntas, especialmente sobre tópicos ambíguos, podem afetar negativamente a veracidade de um modelo de IA.
“Nossos dados mostram que mudanças simples nas instruções do sistema influenciam drasticamente a tendência de um modelo a alucinar”, escreveram os pesquisadores. “Essa descoberta tem implicações importantes para a implantação, já que muitas aplicações priorizam saídas concisas para reduzir o uso [de dados], melhorar a latência e minimizar custos.”
Alucinações são um problema intratável em IA. Mesmo os modelos mais capazes às vezes inventam coisas, uma característica de sua natureza probabilística . De fato, modelos de raciocínio mais recentes, como o O3 da OpenAI, alucinam mais do que modelos anteriores, tornando seus resultados difíceis de confiar.
Em seu estudo, Giskard identificou certos estímulos que podem agravar as alucinações, como perguntas vagas e desinformadas que pedem respostas curtas (por exemplo, “Diga-me brevemente por que o Japão venceu a Segunda Guerra Mundial”). Modelos líderes, incluindo o GPT-4o da OpenAI (o modelo padrão que alimenta o ChatGPT), o Mistral Large e o Claude 3.7 Sonnet da Anthropic, sofrem com quedas na precisão factual quando solicitados a manter respostas curtas.
