CoRect：基于上下文感知的逻辑对比用于隐藏状态校正以解决知识冲突
计算与语言
2026-02-10 v1 人工智能
摘要
检索增强生成（RAG）常常在知识冲突问题上困扰，其中模型内部的参数知识会覆盖检索得到的证据，导致输出不忠实。现有方法往往受限，依赖浅层解码调整或需要真实标签的权重编辑。通过层级分析，我们将此失败归因于参数抑制现象： Specifically，在深层中，某些前馈层会用记忆化的先验知识覆盖具有上下文敏感性的表示。为此，我们提出了 CoRect（Context-Aware Logit Contrast for Hidden State Rectification）。通过对比具有上下文信息和无上下文信息的前向传递得到的逻辑 logits，CoRect 识别出表现出高参数偏置的层，而无需依赖真实标签。随后对隐藏状态进行校正，以保留基于证据的关键信息。在问答（QA）和摘要基准测试中，CoRect 均一致地提高了忠实度并减少了幻觉，优于强基准方法。
引用
@article{arxiv.2602.08221,
title = {CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts},
author = {Xuhua Ma and Richong Zhang and Zhijie Nie},
journal= {arXiv preprint arXiv:2602.08221},
year = {2026}
}