任务向量几何决定变换器中双模式任务推断
机器学习
2026-05-06 v1 计算与语言
机器学习
摘要
变换器有效地通过两种推断模式从上下文中推断潜在任务：一种是识别训练期间看到的任务，另一种是适应新任务。近期的可解释性研究从中间层表示中识别出任务特定方向，即任务向量，这些向量引导模型行为。然而，缺乏严格的基础限制了将内部表示与外部模型行为相联系：现有工作未解释任务向量几何如何由训练分布塑造，以及何种几何结构使其能够实现外分布(OOD)泛化。在本文中，我们在受控的人造合成环境中通过从头训练小规模变换器来研究这些问题，这允许原则性的数学表征。我们表明，两种推断模式可以在单个模型中共存。在分布内行为由贝叶斯任务检索控制，通过内部实现对已学习任务向量的凸组合实现。相比之下，OOD 行为通过外推学习实现，其表示占据接近于任务向量子空间的正交子空间。总体而言，我们的结果表明，任务向量几何、训练分布和泛化行为彼此密切相关。
引用
@article{arxiv.2605.03780,
title = {Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers},
author = {Hao Yan and Haolin Yang and Yiqiao Zhong},
journal= {arXiv preprint arXiv:2605.03780},
year = {2026}
}