残差 Koopman 谱轮廓用于预测与防止变压器训练不稳定
机器学习
2026-02-27 v1 人工智能
摘要
变压器训练发散浪费计算资源，而实践者往往在昂贵的运行开始后才发现不稳定性。因此他们需要在训练开始前获得变压器的预期失败概率。我们研究的残差 Koopman 谱轮廓(RKSP)提供了这种估计。从初始化时的单次前向传播开始，RKSP 通过对层级残差快照应用白化动态模式分解(DMD)来提取 Koopman 谱特征。我们的核心诊断工具是接近单位谱质量，它量化了模式在单位圆附近浓度的比例，从而捕捉不稳定风险。对于预测广泛配置下的发散，此估计器在 AUROC 上达到 0.995，优于最佳梯度基准。我们进一步通过 Koopman 谱塑形(KSS)使该诊断具有可操作性，该方法在训练期间重新塑形谱系。我们在实践中经验性地验证了该方法的有效性：RKSP 在初始化时预测发散，当 RKSP 标记为高风险时，启用 KSS 成功地防止了发散。在没有归一化层的情况下处于挑战性的高学习率范围内，KSS 将发散率从 66.7% 降至 12.5%，并实现 50%--150% 的更高学习率。这些发现推广到 WikiText-103 语言建模、CIFAR-10 上的视觉变压器以及预训练语言模型，包括 GPT-2 和 LLaMA-2 最多 7B，以及新兴架构如 MoE、Mamba 风格 SSM 和 KAN。
关键词
引用
@article{arxiv.2602.22988,
title = {Residual Koopman Spectral Profiling for Predicting and Preventing Transformer Training Instability},
author = {Bum Jun Kim and Shohei Taniguchi and Makoto Kawano and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2602.22988},
year = {2026}
}
备注
23 pages, 7 figures