平均场Transformer模型中亚稳态聚类的涌现
机器学习
2025-04-17 v2 偏微分方程分析
摘要
我们将深层Transformer层中token的演化建模为单位球面上的连续时间流，由平均场相互作用粒子系统驱动，基于(Geshkovski et al., 2023)引入的框架。研究对应的平均场偏微分方程（PDE），该方程可解释为Wasserstein梯度流，本文对该系统的长期行为进行了数学研究，特别关注亚稳态相和聚类现象的涌现与持续，这些是像next-token预测等应用中的关键要素。更具体地说，我们对平均场PDE在iid均匀初始化附近进行了微扰分析，并证明在token数量很大的极限下，模型保持接近具有给定结构（例如周期性）的亚稳态解流形。此外，刻画亚稳态流形的结构被明确识别为模型逆温度参数的函数，通过最大化Gegenbauer多项式某种重缩放后的指标来确定。
引用
@article{arxiv.2410.23228,
title = {Emergence of meta-stable clustering in mean-field transformer models},
author = {Giuseppe Bruno and Federico Pasqualotto and Andrea Agazzi},
journal= {arXiv preprint arXiv:2410.23228},
year = {2025}
}
备注
37 Pages, 6 figures