不要失去焦点：通过键正交投影进行激活引导
计算与语言
2026-05-08 v1
摘要
激活引导通过干预内部表示来控制 LLM 向目标行为转变，然而这通常会降低推理和检索性能。我们认为这种权衡的一个主要原因是注意力重路由：引导向量改变了查询-键匹配，将注意力从上下文重要的 token 转移到信息量较少的 token 上。为了解决这个问题，我们提出了通过键正交投影进行引导（SKOP），这是一种在不消除引导效力的前提下约束有害注意力重路由的引导方法。SKOP 通过保留模型在推理和检索时所依赖的一小部分焦点 token 上的注意力模式，同时允许在不太关键的尾部 token 之间进行重新分配来实现这一点。在多个引导基准测试中，我们表明 SKOP 实现了最佳的引导-效用联合权衡，在保留超过 95% 的原始引导效力的同时，将效用退化降低了 5-7 倍。我们的结果进一步表明，在原始引导方法无效的长上下文检索设置中，SKOP 可以通过避免注意力重路由来保持稳健的性能。
引用
@article{arxiv.2605.06342,
title = {Don't Lose Focus: Activation Steering via Key-Orthogonal Projections},
author = {Haoyan Luo and Mateo Espinosa Zarlenga and Mateja Jamnik},
journal= {arXiv preprint arXiv:2605.06342},
year = {2026}
}