Um novo estudo comparou dois dos modelos de inteligência artificial mais populares do momento – o americano OpenAI o1 e o chinês DeepSeek R1 – e descobriu: quando o assunto é raciocínio e precisão de citações, nem toda IA é tão esperta quanto parece.
O teste, batizado de Reasons Benchmark, colocou os modelos para gerar citações e explicar seus raciocínios a partir de frases isoladas.
Segundo o site The Conversation, o OpenAI o1 acertou cerca de 65% das vezes e manteve um raciocínio claro, embora ainda cometesse erros em 35% dos casos. O DeepSeek R1, por outro lado, acertou apenas 35% e apresentou uma taxa de alucinação próxima de 85%.
A diferença ficou ainda mais gritante quando os pesquisadores pediram para os modelos conectar ideias complexas, como inteligência artificial, bancos de dados e cognição humana. O OpenAI o1 não só entendeu as relações como também explicou bem cada conexão. Já o DeepSeek, embora eficiente e acessível, ainda enfrenta desafios para aprimorar seu raciocínio.
A precisão das citações depende muito de como a inteligência artificial processa a informação. Quando tenta entender um parágrafo inteiro ou um texto completo de uma vez, a IA acaba generalizando demais e perde os detalhes importantes. Em vez de explicar certinho uma ideia específica, ela faz um resumo meio genérico, que nem sempre ajuda quem precisa da informação certa.
Isso acontece porque os modelos de linguagem foram treinados para reconhecer padrões – e eles se saem melhor no começo e no fim dos textos do que no meio, onde as informações costumam ser mais escondidas. No final, o que deveria ser uma análise vira quase uma paráfrase: sem foco e com risco de misturar ideias que não têm tanta relação.
