变压器在高斯混合分布分类中的 in-context 学习训练收敛性研究
机器学习
2025-05-30 v3 信息论
math.IT
机器学习
摘要
尽管变压器在实际应用中已展示出在 in-context 学习方面的惊人能力，但仍处于对其能够执行 in-context 学习的底层机制提供理论理解的初级阶段。本文旨在理论研究变压器在 in-context 分类任务中的训练动力学。我们证明，在某些假设条件下，针对高斯混合分布的 in-context 分类，一个单层变压器通过梯度下降训练可在线性收敛率下收敛到全局最优模型。我们进一步量化了训练和测试提示长度对训练得到的变压器在 ICL 推理误差中的影响。我们指出，当训练和测试提示长度足够大时，训练得到的变压器的预测将接近标签的真实分布。实验结果证实了理论发现。
关键词
引用
@article{arxiv.2410.11778,
title = {On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures},
author = {Wei Shen and Ruida Zhou and Jing Yang and Cong Shen},
journal= {arXiv preprint arXiv:2410.11778},
year = {2025}
}