上下文保真提升：基于水印启发的忠实生成解码框架
计算与语言
2026-04-27 v1
摘要
大型语言模型 (LLM) 常常产生与输入上下文中提供的信息相矛盾或忽略其信息，称为忠实度幻觉。在本文中，我们提出上下文保真提升 (Context-Fidelity Boosting, CFB)，一个轻量且通用的解码时间框架，通过增加对受源支持 token 的生成概率来降低此类幻觉。灵感来自水印技术中的 logit-shaping 原则，CFB 基于 token 对输入上下文的支持程度应用加性 token 级 logit 调整。具体地，我们发展了三种提升策略：静态提升，对受源支持的 token 施加固定偏置；上下文感知提升，该偏置使用带与不带上下文的下一个 token 分布之间的发散度进行缩放；token 感知提升，进一步根据从源位置注意力和源范围语义相似性估计的局部相关性对该自适应偏置进行再分配。CFB 无需重新训练或修改模型结构，能够与广泛的 LLM 兼容。在多个开源 LLM 上进行的摘要和问答任务实验显示，CFB 在最小生成开销的情况下持续改进忠实度指标。我们的实现已完全开源。
引用
@article{arxiv.2604.22335,
title = {Context-Fidelity Boosting: Enhancing Faithful Generation through Watermark-Inspired Decoding},
author = {Weixu Zhang and Fanghua Ye and Qiang Gao and Jian Li and Haolun Wu and Yuxing Tian and Sijing Duan and Nan Du and Xiaolong Li and Xue Liu},
journal= {arXiv preprint arXiv:2604.22335},
year = {2026}
}
备注
Accepted at ACL 2026