推断前扩展：通过浅层插值增强大型语言模型的事实性
计算与语言
2026-01-13 v2
摘要
大型语言模型（LLM）在文本理解与生成方面展现出卓越能力。然而，其产生与事实不符的输出（通常被称为“幻觉”）的倾向仍是一个关键挑战。现有方法（如基于检索的方法和推理时校正方法）主要在输入或输出层面解决此问题，往往忽略了内在的信息精炼过程及浅层的作用。同时，基于对齐和微调的方法资源消耗大。本文提出 PLI（Premature Layers Interpolation），一种新颖的、无需训练且即插即用的干预方法，旨在增强事实性。PLI 通过插入由与相邻层数学插值形成的浅层来缓解幻觉。受稳定扩散和采样步骤的启发，PLI 扩展了 LLM 中信息处理与传输的深度，从而提高事实连贯性。在四个公开数据集上的实验表明，PLI 有效减少了幻觉，并在多数情况下优于现有基线。进一步分析表明，层插值的成功与 LLM 的内部机制密切相关。我们的数据集和代码可在 https://github.com/CuSO4-Chen/PLI 获取。
引用
@article{arxiv.2506.02973,
title = {Expanding before Inferring: Enhancing Factuality in Large Language Models through Premature Layers Interpolation},
author = {Dingwei Chen and Ziqiang Liu and Feiteng Fang and Chak Tou Leong and Shiwen Ni and Ahmadreza Argha and Hamid Alinejad-Rokny and Min Yang and Chengming Li},
journal= {arXiv preprint arXiv:2506.02973},
year = {2026}
}