预训练任务多样性与回归中非贝叶斯上下文学习的涌现

预训练的 Transformer 展现出卓越的上下文学习（ICL）能力：它们仅从提示中提供的少量示例即可学习任务，而无需更新任何权重。这引发了一个基础性问题：ICL 能否解决与预训练期间所见任务截然不同的、根本性的$\textit{新}$任务？为探究此问题，我们考察了 ICL 在线性回归上的表现，同时改变预训练数据集中任务的多样性。我们实证地展示了 ICL 涌现的$\textit{任务多样性阈值}$。低于该阈值时，预训练的 Transformer 无法解决未见的回归任务，而是表现得像一个以$\textit{非多样化预训练任务分布}$为先验的贝叶斯估计器。超过该阈值后，Transformer 显著优于该估计器；其行为与岭回归一致，对应于对$\textit{所有任务}$（包括预训练期间未见的任务）的高斯先验。因此，当在任务多样性大于阈值的预训练数据上训练时，Transformer $\textit{能够}$在上下文中最优地解决根本性的新任务。重要的是，这一能力取决于其偏离以预训练分布为先验的贝叶斯最优估计器。本研究还探讨了正则化、模型容量和任务结构的影响，并以具体示例强调了任务多样性与数据和模型规模一起在 ICL 涌现中的关键作用。代码见 https://github.com/mansheej/icl-task-diversity。