基于样本转换成本的无训练幻觉检测器
机器学习
2026-03-25 v1 人工智能
摘要
大语言模型 (LLM) 中的幻觉现象仍是可靠部署的核心障碍，催生了需要准确、轻量且广泛适用的检测器。由于带有提示词的 LLM 定义了条件分布，我们认为分布的复杂度是幻觉的指示器。然而，分布密度未知，所生成的样本（即针对提示词生成的响应）是离散分布，导致难以量化分布的复杂度。我们提出计算成对样本中 token 嵌入集合之间的最优传输距离，从而得到衡量样本间转换成本的 Wasserstein 距离矩阵。该 Wasserstein 距离矩阵为衡量由 LLM 对特定提示词定义的分布复杂度提供了手段。基于 Wasserstein 距离矩阵，我们派生出两个互补信号：AvgWD 衡量平均成本，EigenWD 衡量成本的复杂度。这导致了一个无需训练的 LLM 幻觉检测器。我们进一步通过教师 forcing 的方式将该框架扩展到黑盒 LLM。实验表明，AvgWD 和 EigenWD 与强大的不确定性基线相当，跨模型和数据集显示出互补的行为，凸显分布复杂度作为 LLM 可信度信号的有效性。
引用
@article{arxiv.2603.22303,
title = {Sample Transform Cost-Based Training-Free Hallucination Detector for Large Language Models},
author = {Zeyang Ding and Xinglin Hu and Jicong Fan},
journal= {arXiv preprint arXiv:2603.22303},
year = {2026}
}
备注
24 pages, 5 figures, 5 tables