KV 缓存引导：控制冻结大语言模型的一种方法
计算与语言
2025-09-29 v2 人工智能
摘要
我们提出了缓存引导（cache steering）一种轻量级方法，通过对键值缓存直接应用一次性干预来实现对语言模型的隐式控制。为验证其有效性，我们将缓存引导应用于小型语言模型以诱导链式思维推理。该方法从推理痕迹中构建引导向量，这些痕迹可来自教师模型（如 GPT-4o）或现有的人类标注数据，能够在不进行微调或修改提示词的情况下，将模型行为引导 toward 更明确、多步骤的推理。实验评估在多样化的推理基准测试上表明，缓存引导不仅改善了模型推理的定性结构，还提升了定量任务性能。额外实验表明，该方法还能扩展到更大的模型，并在诸如 GPQA 和 MATH 等具有挑战性的数据集上获得进一步提升。与需要持续干预的先前激活引导技术相比，我们的一次性缓存引导在推理延迟、超参数稳定性以及与现有推理 API 集成 ease of integration 方面具有显著优势。除了推理诱导之外，我们展示了缓存引导能够实现推理风格（如分步、因果、类比）的可控迁移，使其成为一种实用的行为级指导语言模型的工具。
引用
@article{arxiv.2507.08799,
title = {KV Cache Steering for Controlling Frozen LLMs},
author = {Max Belitsky and Dawid J. Kopiczko and Michael Dorkenwald and M. Jehanzeb Mirza and James R. Glass and Cees G. M. Snoek and Yuki M. Asano},
journal= {arXiv preprint arXiv:2507.08799},
year = {2025}
}