Ask a Local：基于模型发散性检测幻觉的专家方法
计算与语言
2025-06-05 v1 人工智能
摘要
大型语言模型（LLM）中的幻觉——即模型生成 plausible 但事实错误信息的实例——是 AI 的一个重要挑战。我们引入"Ask a Local"，一种新颖的幻觉检测方法，利用专家模型在遇到领域特定不准确信息时表现出更大惊讶的直觉。我们的 approach 通过计算 language-specialized models 的 perplexity 分布之间的发散性来识别可能的幻觉 span。该方法特别适合多语言语境，因为它自然地扩展到多个语言，无需适应、依赖外部数据源或执行训练。此外，我们选择计算效率高的模型，提供了一个可扩展的解决方案，可应用于广泛的语言和领域。我们在覆盖 14 种语言的人工标注问答数据集上进行测试，展示了跨语言的一致性能，Intersection-over-Union（IoU）得分约为 0.3，Spearman 相关值也相当。我们的模型在意大利语和加泰罗尼亚语方面表现尤为出色，IoU 分别达到 0.42 和 0.38，同时保持跨语言有效性，无需语言特定的适应。我们发布了代码和架构，以促进多语言幻觉检测的进一步研究。
引用
@article{arxiv.2506.03357,
title = {Ask a Local: Detecting Hallucinations With Specialized Model Divergence},
author = {Aldan Creo and Héctor Cerezo-Costas and Pedro Alonso-Doval and Maximiliano Hormazábal-Lagos},
journal= {arXiv preprint arXiv:2506.03357},
year = {2025}
}
备注
Supplementary materials: https://github.com/ACMCMC/ask-a-local