提示-激活二元性：通过注意力层干预提升激活引导
计算与语言
2026-05-15 v2 人工智能
摘要
激活引导通过在推理时添加方向来控制语言模型的行为，但标准的残差流引导在有状态对话中可能失败。我们识别出 KV-cache 污染作为关键的失败模式：被引导的 token 状态被存储并重复重用，将局部扰动转化为累积的一致性退化。为解决此挑战，我们提出 Gated Cropped Attention-Delta 引导(GCAD)，从系统提示对自注意力的贡献中提取引导信号，并以 token 级别的门控方式应用。 在 persona-引导实验中，GCAD 在保持特征控制的同时，显著改善了长程一致性。在主要的多轮基准测试上，GCAD 将平均一致性漂移从 -18.6 降低到 -1.9，将第 10 轮特征表达提升到 93.1。这些结果表明，当干预遵循模型已用于行为控制的提示中介路径时，激活引导会更可靠。
引用
@article{arxiv.2605.10664,
title = {Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions},
author = {Diancheng Kang and Zheyuan Liu and Ningshan Ma and Yue Huang and Zhaoxuan Tan and Meng Jiang},
journal= {arXiv preprint arXiv:2605.10664},
year = {2026}
}
备注
23 pages, 5 figures. This paper proposes GCAD, an attention-level activation steering method for more stable multi-turn behavior control