单一任务向量是不够的：上下文学习的大规模研究
计算与语言
2025-06-02 v1
摘要
上下文学习 (ICL) 使大型语言模型 (LLM) 能够使用少量样本适应新任务，其中任务向量——特定的隐藏状态激活——被假设用来编码任务信息。现有研究受限于小规模基准，限制了对该问题的全面分析。我们引入了 QuiteAFew，一个包含 3,096 个多样化少样本任务的新颖数据集，每个任务都有 30 个源自 Alpaca 数据集的输入-输出对。在 QuiteAFew 上使用 Llama-3-8B 进行的实验表明：(1) 任务向量性能在中间层（例如第 15 层）达到峰值，(2) 有效性因任务类型而异，且差异显著，以及 (3) 复杂任务依赖于多个特定于子任务的向量，而不是单一向量，这表明任务知识表示是分布式的。
引用
@article{arxiv.2505.23911,
title = {One Task Vector is not Enough: A Large-Scale Study for In-Context Learning},
author = {Pavel Tikhonov and Ivan Oseledets and Elena Tutubalina},
journal= {arXiv preprint arXiv:2505.23911},
year = {2025}
}