超越域内检测:面向跨域幻觉检测的 SpikeScore
人工智能
2026-02-20 v5 机器学习
摘要
幻觉检测对于在现实世界应用中部署大型语言模型至关重要。现有的幻觉检测方法在训练数据和测试数据来自同一领域时表现强劲,但在跨域泛化方面表现不佳。在本文中,我们研究了一个重要但被忽视的问题,称为可泛化幻觉检测,其目标是在单一领域的数据上训练幻觉检测器,同时确保在多个相关领域上的鲁棒性能。在研究可泛化幻觉检测时,我们模拟了大型语言模型初始响应后的多轮对话,并观察到一个有趣的现象:由幻觉引发的多轮对话在不同领域中普遍表现出比事实性对话更大的不确定性波动。基于这一现象,我们提出了一种新的评分指标 SpikeScore,用于量化多轮对话中的突变波动。通过理论分析和实证验证,我们证明了 SpikeScore 在幻觉与非幻觉响应之间实现了强大的跨域可分离性。在多个大型语言模型和基准测试上的实验表明,基于 SpikeScore 的检测方法在跨域泛化方面优于代表性基线,并超越了先进的面向泛化的方法,验证了我们的方法在跨域幻觉检测中的有效性。
引用
@article{arxiv.2601.19245,
title = {Beyond In-Domain Detection: SpikeScore for Cross-Domain Hallucination Detection},
author = {Yongxin Deng and Zhen Fang and Sharon Li and Ling Chen},
journal= {arXiv preprint arXiv:2601.19245},
year = {2026}
}