奇异分布的稳定性：语言模型预训练两阶段动力学的谱视角
机器学习
2026-05-27 v1
摘要
大型语言模型的预训练通常呈现两阶段轨迹：初始快速损失下降，随后是长时间的缓慢改进。我们识别出一个潜在的谱现象——奇异分布稳定性（SoSD），其中迹归一化的奇异值谱在早期就趋于稳定，即使参数矩阵仍在继续演化。我们证明，SoSD与缓慢下降阶段之间的同步现象在多种架构（GPT-2、LLaMA）和设置中广泛存在，包括各种调度策略（Step-wise、WSD、Cosine Decay）、权重衰减和优化器（AdamW、Muon）。通过分析一个简化的Transformer，我们证明增长的权重范数不可避免地会触发一个早期的SoSD阈值，在此之后，损失下降速率在理论上受到奇异分布变化的限制。我们进一步通过WSD和Muon等策略调节SoSD尺度的能力来解读它们，为理解高效的预训练动力学提供了一个谱视角。
引用
@article{arxiv.2605.26489,
title = {The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training},
author = {Hongtao Zhang and Wenjie Zhou and Chenxi Jia and Wei Chen and Xueqi Cheng},
journal= {arXiv preprint arXiv:2605.26489},
year = {2026}
}