通过提示引导的数据增强强化幻觉检测
机器学习
2025-10-21 v1 人工智能
计算与语言
摘要
大型语言模型（LLM）在人工智能社区引发了广泛关注。尽管它们在生成方面表现突出，但被发现会产生误导性或虚构信息，现象被称为幻觉。因此，幻觉检测对于确保LLM生成内容的可靠性至关重要。在幻觉检测中，一个主要挑战是稀缺的带有真实与幻觉输出的良好标注数据集。为解决此问题，我们提出了Prompt-guided data Augmented haLlucination dEtection（PALE）框架，该框架利用提示引导的LLM响应作为幻觉检测的数据增强。这种策略可在较低成本下生成真实与幻觉数据。为更有效地评估LLMs产生的稀疏中间嵌入的真实性，我们引入了称为对比马哈洛尼斯距离（CM Score）的估计指标。该分数基于对真实与幻觉数据在激活空间中的分布进行建模。CM Score采用矩阵分解方法更准确地捕捉这些分布的底层结构。重要的是，我们的框架无需额外的人工标注，具有强大的可泛化性和实际应用性。大量实验表明，PALE在幻觉检测性能方面取得优异成绩，相较于竞争基线提升了6.55%。
引用
@article{arxiv.2510.15977,
title = {Bolster Hallucination Detection via Prompt-Guided Data Augmentation},
author = {Wenyun Li and Zheng Zhang and Dongmei Jiang and Xiangyuan Lan},
journal= {arXiv preprint arXiv:2510.15977},
year = {2025}
}