最大池化网络再访：语义概率在多实例学习中的 hallucination 检测作用分析
计算与语言
2026-05-14 v2 机器学习
摘要
hallucination 检测日益重要，以提高大语言模型（LLM）的可靠性。最近出现的混合方法，如 HaMI，通过多实例学习（MIL）将语义一致性与内部模型状态相结合，取得了最新性能。然而，这些方法因重复抽样和昂贵的语义相似性计算而产生巨大的计算开销。本文首先从决策间隙角度对 HaMI 进行理论分析，揭示通过语义一致性缩放内部状态会导致决策间隙扩大。鼓励人们从间隙扩大视角重新审视经典句子分类模型，通过最大池化聚合词级别特征，直接使用轻量级 MLP 估计句子得分。在不要求语义一致性计算的情况下，我们的方法在保持与最新基线竞争性能的同时，实现了显著的效率提升，通过对内部特征表示的自适应聚合来实现。代码已公开于 https://github.com/FUJI1229/Hallucination_Detection。
引用
@article{arxiv.2605.08863,
title = {Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection},
author = {Shota Fujikawa and Issei Sato},
journal= {arXiv preprint arXiv:2605.08863},
year = {2026}
}