告知你的模型何处关注：面向 LLM 的事后注意力引导
计算与语言
2024-10-02 v2 机器学习
摘要
在人写文章中，我们常利用文本风格的精妙之处，如粗体和斜体，来引导读者注意力。这些文本强调对读者把握所传达信息至关重要。当与大型语言模型（LLM）交互时，我们有类似需求——引导模型更关注用户指定的信息，例如一条指令。然而，现有方法局限于处理纯文本，不支持此类机制。这促使我们引入 PASTA——事后注意力引导方法（Post-hoc Attention STeering Approach），一种允许 LLM 阅读带用户指定强调标记文本的方法。为此，PASTA 识别一小部分注意力头并对其施加精确的注意力重加权，将模型注意力导向用户指定部分。如同提示，PASTA 在推理时应用且不需要更改任何模型参数。实验表明，PASTA 能显著增强 LLM 遵循用户指令或整合用户输入新知识的能⼒，从而在多种任务上带来显著性能提升，例如 LLAMA-7B 平均准确率提升 22%。我们的代码公开于 https://github.com/QingruZhang/PASTA 。
引用
@article{arxiv.2311.02262,
title = {Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs},
author = {Qingru Zhang and Chandan Singh and Liyuan Liu and Xiaodong Liu and Bin Yu and Jianfeng Gao and Tuo Zhao},
journal= {arXiv preprint arXiv:2311.02262},
year = {2024}
}
备注
The 12th International Conference on Learning Representations (ICLR 2024)