热身-稳定-衰减学习率调度器中冷却阶段训练动力学

学习率调度是变换器训练中的关键技术，最终的退火过程在获取最佳性能中起着关键作用。然而，尽管冷却阶段表现出损失下降的特征，但其背后的机制仍鲜有了解。为此，我们提供一项针对Warmup-Stable-Decay (WSD)学习率调度器中冷却阶段的全面分析。我们的分析揭示，不同的冷却阶段形状揭示了结果模型中基本的偏差-方差权衡，表面均衡探索与开发的形状始终优于其他替代方案。我们还发现，与冷却阶段形状选择相当的性能差异——相当于调整AdamW超参数时的差异。值得注意的是，我们在冷却期间观察到更高的β₂值 consistently 带来显著改进。从损失景观的角度，我们提供了冷却期间景观的可视化，支持“河谷损失”观点。这些发现为在变换器训练中配置WSD调度器提供了实用建议，强调在传统超参数调优之外，优化冷却阶段的重要性。