分布式对齐：用于设计 in-context learning 中的任务向量的准则

In-context learning（ICL）允许大语言模型（LLM）通过 demonstration 适应新任务，但随上下文长度增加而推理成本升高。虽然任务向量通过将 demonstration 压缩为紧凑的隐藏状态表示提供了有前景的替代方案，但其质量仅通过下游任务准确率进行评估。这种间接准则对如何设计更有效的任务向量提取方法提供了有限的洞察。本文我们认为，基于任务向量的推理应与 ICL 的预测分布保持一致。为量化此差异，我们引入 $d_{\text{NTP}}$，衡量任务向量式与 ICL 式推理中下一个标记概率之间的差异。我们的实证分析表明，$d_{\text{NTP}}$ 作为性能代理，与下游准确率之间呈强负相关。基于此，我们发展了线性任务向量（Linear Task Vector, LTV），一种旨在通过闭式线性映射最小化 $d_{\text{NTP}}$ 的方法，LTV 通过回归估计 demonstration 效应。跨八个分类基准和五个 LLM，LTV 持续优于现有任务向量基线，平均准确率提升 9.2%，同时降低推理延迟。我们进一步展示了 LTV 在回归任务上的优势。此外，我们研究了 LTV 在不同模型规模之间的可迁移性；这在任务向量研究中尚属新兴领域。具体而言，我们实证表明，来自大型模型的任务向量可提升小型模型性能 6.4%，这为提取的任务表示提供了新的用途。