ContextFocus：用于LLM上下文忠实性的激活引导
计算与语言
2026-01-13 v2 人工智能
机器学习
摘要
大型语言模型(LLM)在预训练期间编码了广泛的参数知识。随着世界知识的演变，有效部署日益依赖于其对外部检索上下文的忠实跟随能力。当此类证据与模型内部知识冲突时，LLM常常依赖记忆事实，产生不忠实的输出。本文我们引入ContextFocus，一种轻量级激活引导方法，可在此类知识冲突设置下提高上下文忠实性，同时保持流畅性和效率。不同于先前方法，我们的解决方案无需模型微调，推理时间开销最小，具有高度效率。我们在ConFiQA基准测试上评估了ContextFocus，将其与包括ContextDPO、COIECD和基于提示的方法等强大基线进行比较。此外，我们表明该方法与提示策略互补，适用于更大模型。广泛的实验表明，ContextFocus显著提高了上下文忠实性。我们的结果凸显了ContextFocus在提高LLM输出的上下文忠实性方面的有效性、鲁棒性和效率。
引用
@article{arxiv.2601.04131,
title = {ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models},
author = {Nikhil Anand and Shwetha Somasundaram and Anirudh Phukan and Apoorv Saxena and Koyel Mukherjee},
journal= {arXiv preprint arXiv:2601.04131},
year = {2026}
}