谱注意力引导：用于突出提示
计算与语言
2026-03-03 v1 人工智能
摘要
注意力引导是控制模型关注度的重要技术，使模型能够实现提示突出等能力，即优先处理用户指定的文本。然而，现有的注意力引导方法需要显式存储完整的注意力矩阵，因而与FlashAttention等内存高效实现不兼容。我们引入Spectral Editing Key Amplification (SEKA)，一种无需训练的引导方法，通过直接编辑键嵌入来解决此问题。SEKA 使用谱分解将键嵌入引导至放大特定标记注意力得分的潜在方向。我们将其扩展为自适应 SEKA (AdaSEKA)，一种查询自适应变体，使用无需训练的路由机制动态组合基于提示语义意图的多个专家子空间。我们的实验表明，这两种方法在标准引导基准测试中显著优于强大基线，同时添加的延迟和内存开销大大降低，与优化注意力实现兼容。
关键词
引用
@article{arxiv.2603.01281,
title = {Spectral Attention Steering for Prompt Highlighting},
author = {Weixian Waylon Li and Yuchen Niu and Yongxin Yang and Keshuang Li and Tiejun Ma and Shay B. Cohen},
journal= {arXiv preprint arXiv:2603.01281},
year = {2026}
}
备注
Accepted to ICLR 2026 (Poster, Top 4%)