注意力动态中的归一化
机器学习
2025-11-12 v2 人工智能
摘要
我们研究了归一化方案对深度变换器中标记表示影响。将其演化建模为球面上相互作用的粒子，我们显示归一化充当速度调节的形式。这种视角使我们能够统一分析几种方案——包括 Post-LN、Pre-LN、Mix-LN、Peri-LN、nGPT——揭示它们如何影响聚类动力学和表示坍缩。我们的框架阐明了不同方案如何在各层中塑造标记表示，并为比较它们提供原则化的依据，识别出Peri-LN特别有效。
引用
@article{arxiv.2510.22026,
title = {Normalization in Attention Dynamics},
author = {Nikita Karagodin and Shu Ge and Yury Polyanskiy and Philippe Rigollet},
journal= {arXiv preprint arXiv:2510.22026},
year = {2025}
}
备注
39th Conference on Neural Information Processing Systems (NeurIPS 2025), 23 pages