LANCET：基于结构熵的神经干预以缓解 LLM 中的忠实性幻觉
计算与语言
2026-01-06 v1 机器学习
摘要
大语言模型 (LLM) 已彻底变革信息处理，但其可靠性严重受到忠实性幻觉的制约。当前方法通过节点级调整或粗略抑制来缓解此问题，但常常忽视神经信息的分布性质，导致干预不够精确。认识到幻觉通过类似感染的特定前向传递路径子扩散，我们旨在通过精确的结构分析手术性地阻断此类传播。为此，我们提出了 Lancet 框架，通过利用结构熵和幻觉差异比率实现精确的神经干预。Lancet 首先通过梯度驱动的对比分析定位幻觉易发生的神经元，然后通过最小化结构熵映射其传递路径，最后实施分层干预策略，保留通用模型能力。全面的评估在幻觉基准数据集上表明，Lancet 显著优于最新方法，验证了我们手术式神经干预的有效性。
引用
@article{arxiv.2601.01401,
title = {LANCET: Neural Intervention via Structural Entropy for Mitigating Faithfulness Hallucinations in LLMs},
author = {Chenxu Wang and Chaozhuo Li and Pengbo Wang and Litian Zhang and Songyang Liu and Ji Qi and Jiahui Hu and Yushan Cai and Hao Zhao and Rui Pu},
journal= {arXiv preprint arXiv:2601.01401},
year = {2026}
}