标签词作为局部任务向量：用于注意力学习中的局部任务表示
计算与语言
2025-12-23 v2
摘要
大型语言模型（LLMs）已展现出惊人的能力，其中最重要的一种是注意力学习（ICL）。通过 ICL，LLMs 能够从少量示例中推导出底层规则，并提供符合该规则的答案。以往的研究假设，网络在 ICL 过程中会在特定位置创建任务向量。该任务向量可通过对数据集进行平均计算得到，能够传递整体任务信息，因此可被视为全局任务向量。通过对全局任务向量进行补丁化，LLMs 能够以虚拟输入实现零样本性能，相当于少样本学习。然而，我们发现，在某些任务中尤其是依赖于仅从多个示例才能推断规则的任务（如分类任务），这样的全局任务向量并不存在。相反，每个示例提供的信息首先被传递到其答案位置，形成与该示例相关联的局部任务向量。在某些任务中，但不在分类任务中，所有示例的局部任务向量在后续层中会汇聚，形成全局任务向量。我们进一步表明，局部任务向量编码了从示例中提取的高层抽象规则。我们的研究提供了关于 LLMs 之间注意力机制新颖见解，表明注意力学习可能通过信息聚合机制来实现。
引用
@article{arxiv.2406.16007,
title = {Label Words as Local Task Vectors in In-Context Learning},
author = {Bowen Zheng and Ming Ma and Zhongqiao Lin and Tianming Yang},
journal= {arXiv preprint arXiv:2406.16007},
year = {2025}
}