任务向量：被学习而非被提取：性能提升与机制洞察
计算与语言
2026-05-04 v3
摘要
大型语言模型（LLM）能够从情境演示中完成新任务，称为情境学习（in-context learning, ICL）。近期研究表明，这些演示被压缩为任务向量（task vectors, TVs），是一种紧凑的任务表示，供 LLM 用于预测。然而，先前研究通常通过冗长且不透明的方法从模型输出或隐藏状态中提取 TVs，且很少阐明 TVs 如何影响计算。本文同时解决这两个局限性。首先，我们提出直接训练的学习型任务向量（Learned Task Vectors, LTVs），其在准确率上优于提取的 TVs，并在任意层、位置乃至搭配 ICL 提示时表现出卓越的灵活性。其次，通过系统化分析，我们探讨了 TVs 的机制作用，发现它们在低层主要通过注意力头的 OV 电路来驾驶预测，其中少数“关键头”最为决定性。在更高层面，我们发现尽管 Transformer 的非线性特性，TV 的传播仍主要是线性的：早期 TVs 被旋转至与任务相关子空间，以提高相关标签的逻辑值，而后期 TVs 则主要在幅度上进行放大。综上所述，LTVs 不仅提供了获取高效任务向量的实用方法，也为阐明 ICL 的机制基础提供了原则性视角。
关键词
引用
@article{arxiv.2509.24169,
title = {Task Vectors, Learned Not Extracted: Performance Gains and Mechanistic Insight},
author = {Haolin Yang and Hakaze Cho and Kaize Ding and Naoya Inoue},
journal= {arXiv preprint arXiv:2509.24169},
year = {2026}
}
备注
ICLR 2026