通过 Transformer 学习谱方法

Transformer 作为现代大型语言模型的构建模块，展示出显著的优势。在本工作中，我们研究了 Transformer 在执行无监督学习中的能力。我们表明，给定足够大的预训练实例集，多层 Transformer 能够学习算法本身并在新实例上执行统计估计任务。这种学习范式不同于上下文学习设置，类似于人类大脑的学习过程，其中技能通过过去的经验来学习。理论上，我们证明了预训练的 Transformer 能够学习谱方法，并以二类高斯混合模型的分类为例。我们的证明是使用算法设计技术实现的。我们的研究建立在多层 Transformer 架构与实践中使用的迭代恢复算法相似性的基础上。在实证方面，我们通过 PCA 和聚类任务的视角，在合成数据集和真实世界数据集上验证了多层（预训练）Transformer 在无监督学习方面的强大能力。