将Transformer视为无监督学习算法：关于高斯混合模型的研究
机器学习
2026-02-10 v2 机器学习
摘要
Transformer架构在现代人工智能中展现出惊人的能力，其中一种被广泛认为是理解预训练大型语言模型关键作用，就是在推理期间隐式学习内部模型。然而，最近的研究主要聚焦于监督学习主题，如情境学习，留下了无监督学习的探索。本文从统计估计的视角，考察Transformer在解决高斯混合模型(GMM)方面的能力。我们提出一种称为TGMM的基于Transformer的学习框架，通过共享Transformer主干网络同时学习解决多个GMM任务。实验结果表明，所学模型有效缓解了经典方法如期望最大化(EM)或谱方法的局限性，同时对分布迁移表现出良好的鲁棒性。理论上，我们证明了Transformer能够近似实现EM算法以及谱方法核心组件(三次张量幂迭代)。这些结果弥合了实践成功与理论理解之间的鸿沟，使Transformer成为无监督学习的多功能工具。
关键词
引用
@article{arxiv.2505.11918,
title = {Transformers as Unsupervised Learning Algorithms: A study on Gaussian Mixtures},
author = {Zhiheng Chen and Ruofan Wu and Guanhua Fang},
journal= {arXiv preprint arXiv:2505.11918},
year = {2026}
}
备注
Code available at https://github.com/Rorschach1989/transformer-for-gmm