感知器与注意力均值景观的局部化
机器学习
2026-05-14 v2 最优化与控制
摘要
Transformer 的前向传递可以看作是单位球面上的相互作用粒子系统：时间扮演层次的角色，粒子则是 token 嵌入，单位球面理想化了层归一化。在某些权重设置下，该系统甚至可以看作是显式能量的梯度流，并且人们能够通过 Wasserstein 梯度流来 make sense 无限上下文长度 (mean-field) 的限制。在本文中，我们研究感知器块在此设置下的效果，并 show 临界点通常是原子化的，并且局部化于球面的子集上。
引用
@article{arxiv.2601.21366,
title = {Perceptrons and localization of attention's mean-field landscape},
author = {Antonio Álvarez-López and Borjan Geshkovski and Domènec Ruiz-Balet},
journal= {arXiv preprint arXiv:2601.21366},
year = {2026}
}