Prism-$\Delta$：面向大语言模型的差分子空间驱动的提示突出显示
计算与语言
2026-03-12 v1
摘要
提示突出显示可引导大型语言模型在生成时优先考虑用户指定的文本片段。一个关键挑战是提取捕获相关与不相关上下文差异的驱动方向，而非捕获两者共同的结构模式。我们提出 PRISM-（基于投影的相关性驱动驱动方法），该方法分解正负交叉协方差矩阵之差，以最大化判别能量同时消除共享方向。每个注意力头接收一个连续的 softplus 重要性权重，使弱但有用的头以降低强度贡献。该框架自然扩展到 Value 表示，捕获 Key-only 方法遗漏的内容通道信号。在四个基准和五个模型上，PRISM- 在 19 个 20 个配置中匹配或超过最佳现有方法，相对提升最高可达 +10.6%，同时将驱动的流畅度成本减半。PRISM- 也能扩展到长上下文检索，在相对提升方面优于最佳现有方法最高可达 +4.8%。PRISM- 兼容 FlashAttention，额外内存开销极小。
引用
@article{arxiv.2603.10705,
title = {Prism-$\Delta$: Differential Subspace Steering for Prompt Highlighting in Large Language Models},
author = {Yuyao Ge and Shenghua Liu and Yiwei Wang and Tianyu Liu and Baolong Bi and Lingrui Mei and Jiayu Yao and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2603.10705},
year = {2026}
}
备注
21 pages, 14 figures