基于 Schedule-Free 谱优化的即时训练
机器学习
2026-05-25 v1 人工智能
最优化与控制
机器学习
摘要
标准神经网络训练依赖于与固定时间范围相关的学习率计划，导致强烈的路径依赖性以及随数据可用性变化而昂贵的重新调参。无计划 (Schedule-Free, SF) 方法通过消除显式计划来解决此问题，但 SF-AdamW 作为当前最好的即时优化器，持续低于经过精调的 AdamW 基线。我们提出 SF-NorMuon，一种无计划谱优化器，弥合了这一差距：在 -- Chinchilla 时间范围内，SF-NorMuon 使用单一超参数配置，匹配或优于调校后的 AdamW 在 125M 和 772M 参数语言模型上的表现。在理论层面，我们为无计划谱动力学证明了平稳性保证，并指出快速迭代上的权重衰减是长期稳定性的关键。SF-NorMuon 使实践者能够在训练过程中随时获取高质量检查点，而无需提前提交时间范围。通过弥合与调校后基线的性能差距，SF-NorMuon 使无时间范围优化更为实用，迈向真正的持续学习。
引用
@article{arxiv.2605.23061,
title = {Anytime Training with Schedule-Free Spectral Optimization},
author = {Anuj Apte and Pranav Deshpande and Niraj Kumar and Shouvanik Chakrabarti and Junhyung Lyle Kim},
journal= {arXiv preprint arXiv:2605.23061},
year = {2026}
}