谱对齐：神经网络训练中损失爆炸的预测器
机器学习
2025-10-07 v1
摘要
在训练深度神经网络时，损失爆炸会使数百万美元的训练运行付之东流。传统监控指标如权重和梯度范数往往滞后且含糊不清的预测器，因为其值在不同模型之间甚至在同一模型的不同层之间差异巨大，难以建立统一的标准来检测潜在故障。我们提出了 Spectral Alignment（SA），这是一种新型、在理论上有据可依的指标，用于监控层输入分布与权重矩阵主奇异向量分布之间的对齐程度。我们展示了，这种对齐的符号多样性崩溃是表示征复合和训练发散的强早期预测器。在语言模型上进行的实证结果表明，监控 SA 分布比传统标量指标提供了显著更早且更清晰的损失爆炸警告。SA 的低计算开销使其成为保障模型训练的实用工具。
引用
@article{arxiv.2510.04202,
title = {Spectral Alignment as Predictor of Loss Explosion in Neural Network Training},
author = {Haiquan Qiu and You Wu and Yingjie Tan and Yaqing Wang and Quanming Yao},
journal= {arXiv preprint arXiv:2510.04202},
year = {2025}
}
备注
18 pages, 8 figures