小更新，大疑虑：参数高效微调是否增强幻觉检测？
计算与语言
2026-02-13 v1 人工智能
摘要
参数高效微调（PEFT）方法广泛用于调整大型语言模型（LLM）以适应下游任务，常被假设为提高事实正确性的有效手段。然而，参数高效微调方法如何影响幻觉行为尚不清楰，尤其在问答数据集上。本文通过全面实证研究系统探讨 PEFT 对幻觉检测的影响，纵跨三个开源 LLM 主干模型和三个事实寻求问答基准。对于每个模型，我们评估了七种无监督幻觉检测方法，涵盖三个互补方法：基于语义一致性的检测器、基于置信度的检测器和基于熵的检测器。这种多维度评估使我们能够刻画 PEFT 如何在不同检测范式中重塑不确定性。实验结果表明，PEFT 在幻觉检测能力上始终具有提升，广泛提升了各类幻觉检测器的 AUROC。此外，通过线性探针和表示诊断进一步分析表明，PEFT 方法主要重塑了不确定性的编码方式与呈现方式，与向模型注入新事实知识相比，这一发现具有重要意义。
引用
@article{arxiv.2602.11166,
title = {Small Updates, Big Doubts: Does Parameter-Efficient Fine-tuning Enhance Hallucination Detection ?},
author = {Xu Hu and Yifan Zhang and Songtao Wei and Chen Zhao and Qiannan Li and Bingzhe Li and Feng Chen},
journal= {arXiv preprint arXiv:2602.11166},
year = {2026}
}
备注
18 pages, 13 figures, 8 tables