通过代理模型持续控制大语言模型对语境知识的敏感性
计算与语言
2025-09-03 v3
摘要
在大型语言模型（Large Language Models, LLMs）生成过程中，存在知识冲突且参数化知识与上下文提供的知识可能相互矛盾的情形。以往的研究通过调优、解码算法或定位和编辑上下文感知神经元来适应 LLMs 对新上下文知识的忠诚度。然而，这些方法通常效率低下或对大模型无效，无法用于黑箱模型，或无法持续调整 LLMs 对上下文知识的敏感度。为缓解这些问题，我们提出了 CSKS（Continuously Steering Knowledge Sensitivity，持续控制知识敏感性）框架，该框架以轻量级成本持续引导 LLMs 对上下文知识的敏感度。具体而言，我们对两个小型语言模型（即代理模型）进行调优，并利用其输出分布差异来在不修改 LLM 权重的情况下偏移原始分布。在评估过程中，我们不仅设计合成数据和细粒度指标来衡量模型对上下文知识的敏感度，还使用真实冲突数据集验证了 CSKS 的实际有效性。广泛的实验表明，我们的框架实现了对 LLMs 对上下文知识敏感度的持续和精确控制，既可以增强也可以降低这种敏感度，从而允许 LLMs 在需要时灵活地优先考虑上下文知识或参数化知识。我们的数据和代码已公开于 https://github.com/OliveJuiceLin/CSKS。
引用
@article{arxiv.2508.19720,
title = {Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models},
author = {Yilin Wang and Heng Wang and Yuyang Bai and Minnan Luo},
journal= {arXiv preprint arXiv:2508.19720},
year = {2025}
}
备注
emnlp 2025