变换器在线性分类中几乎是最优元学习器

变换器已展示出惊人的基于情境的学习（ICL）能力，这引发了一个问题：它们是否可以作为仅需少量情境示例即可适应新任务的元学习器，而无需进一步训练。在近期的理论工作中，大多数分析未涵盖正式的元学习设置，即目标是比单独解决每个任务更有效地解决一系列相关任务的问题。本文提供了首个在线性分类设置下，证明简化变换器架构通过梯度下降训练可作为近似最优元学习器的理论分析。我们考虑一种自然的任务家族，其中每个任务对应于类条件高斯混合模型，均值向量位于 $\mathbb{R}^d$ 中共享的 $k$ 维子空间内。训练充足数量的任务后，我们证明变换器仅需 $O(k / R^4)$ 个情境示例即可泛化到新任务，其中 $R$ 表示测试时的信噪比。这种性能（几乎）匹配了知道确切共享子空间的最优学习器的性能，并显著优于仅能访问情境数据的任何学习器，这类学习器需要 $\Omega(d / R^4)$ 个示例才能泛化。重要的是，我们对实现此结果所需的训练任务数量和每个任务的示例数界限与环境维度 $d$ 无关。