Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank (braço de IA do banco russo Sber) desenvolveram um método para identificar possíveis alucinações em sistemas de inteligência artificial que utilizam grandes modelos de linguagem.
Batizada de TOHA (sigla para detector de alucinações baseado em topologia), a técnica verifica se uma resposta gerada por um modelo está, de fato, sustentada pelas informações fornecidas a ele — ou se foi inventada.
A proposta foi apresentada em um artigo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional. A tecnologia foi incorporada e já está disponível publicamente no SIRIN, biblioteca de código aberto desenvolvida pelos pesquisadores do Sberbank.
Leia Mais
-
Nvidia lança iniciativa de infraestrutura para impulsionar IA do Japão
-
Bolsas da Europa sobem com recuperação de ações de IA
-
Análise: gigantes europeias faturam mais com IA do que desenvolvedoras
Alucinações prejudicam confiabilidade da IA
Alucinações são respostas erradas ou totalmente inventadas pela inteligência artificial, sem respaldo em dados ou fontes concretas, mas apresentadas em tom de convicção e certeza. Elas seguem como um dos principais desafios para a confiabilidade da tecnologia.
O risco persiste até em sistemas que usam a chamada geração aumentada por recuperação (ou RAG, na sigla em inglês). Nesse caso, a IA recebe informações adicionais antes de elaborar a resposta, recorrendo, por exemplo, a documentos e bases de dados corporativas. Ainda assim, o modelo pode responder com informações que não estão presentes no material de referência.
A abordagem proposta pelo estudo tenta identificar esse problema a partir do funcionamento interno do próprio modelo. Os pesquisadores analisaram as matrizes de atenção (mecanismos usados pela IA para estabelecer relações entre diferentes partes do texto) e transformaram essas informações em gráficos.
A partir daí, os pesquisadores calcularam uma medida chamada MTop-Div, que aponta diferenças entre a estrutura do material original e da resposta produzida pelo modelo. Segundo o artigo, níveis mais elevados de divergência são consistentes em respostas que não têm respaldo no material fornecido.
Na prática, a técnica permite usar o próprio funcionamento da IA para estimar a confiabilidade de uma resposta, sem a necessidade de recorrer a outro modelo de IA voltado para detectar alucinações.
Técnica detectou alucinações com sucesso
Os pesquisadores testaram o método em tarefas de perguntas e respostas, e de resumo de textos.
Segundo os autores, o TOHA apresentou desempenho semelhante ou superior ao de abordagens já existentes em diferentes benchmarks.
Uma das diferenças em relação a outras técnicas está justamente no treinamento. Alguns métodos de detecção exigem grandes volumes de exemplos ou pedem que o modelo gere várias versões de uma mesma resposta para que elas sejam comparadas posteriormente. Já o TOHA exige um conjunto menor de exemplos. Depois disso, essas informações podem ser aplicadas na avaliação de novas respostas.
A abordagem foi comparada pelos pesquisadores ao SelfCheckGPT, método que depende da geração de múltiplas respostas e, por isso, demanda mais recursos computacionais. De acordo com os autores, o TOHA alcançou resultados comparáveis sem a necessidade desse processo repetitivo.
A equipe acredita que empresas podem usar a tecnologia em áreas onde erros cometidos por sistemas de IA podem gerar riscos financeiros ou de reputação, como nos setores bancário, jurídico e de seguros.
Comentários: