Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank formalizaram um método para identificar respostas possivelmente inventadas por grandes modelos de linguagem. Batizada TOHA, a técnica foi apresentada nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional e já foi incorporada à biblioteca de código aberto SIRIN desenvolvida pelos autores.
O método parte das matrizes de atenção internas do modelo — mecanismos que indicam relações entre partes do texto — e as transforma em grafos. A partir daí é calculada a MTop-Div, uma medida de divergência entre a topologia do material de referência e a resposta gerada. Em testes com tarefas de perguntas e respostas e resumo, o TOHA teve desempenho semelhante ou superior a abordagens existentes.
Uma vantagem operacional destacada pelos pesquisadores é a menor demanda por exemplos e por processamento em comparação a técnicas que exigem gerar múltiplas respostas (como o SelfCheckGPT). Isso pode reduzir custos computacionais na checagem de confiabilidade e facilitar a adoção por empresas que lidam com risco financeiro e reputacional, como bancos, escritórios jurídicos e seguradoras.
Ainda que útil, o método não elimina o problema das alucinações: ele fornece um indicador adicional de confiança que depende do próprio funcionamento do modelo. Para ter impacto real no mercado, é preciso que provedores e clientes incorporem rotinas de verificação e que reguladores exijam padrões mínimos de auditoria. A abertura do código via SIRIN, porém, favorece transparência e competição nas ferramentas de controle.