通过 Transformer 模型进行 In-Context 深度学习

我们研究了 transformer 能够通过 in-context learning (ICL) 模拟深度模型训练过程的能力，即 in-context 深度学习。我们的主要贡献是提供了一个正例，说明如何通过 ICL 以隐式方式通过梯度下降来训练深层神经网络。具体而言，我们提供了一个显式构造的 $(2N+4)L$ 层 transformer capable of 通过 ICL 模拟 $L$ 步 $N$ 层 ReLU 网络的梯度下降。我们还给出对给定误差范围内的逼近以及 ICL 梯度下降收敛性的理论保证。此外，我们扩展了我们的分析以适用于更实用的设置，即使用 Softmax-based transformer。我们在 3 层、4 层和 6 层神经网络的合成数据集上验证了我们的发现。结果表明，ICL 性能与直接训练相当。