论步长调节与渐进锐化之间的相互作用

近期的实证工作揭示了深度学习模型一个引人入胜的性质：在固定步长下，锐度（Hessian 的最大特征值）在优化过程中持续增加，直至稳定在一个临界值附近，此时优化器在稳定性边缘运行（Cohen 等人，2022）。我们实证研究了当使用步长调节器（Armijo 线搜索与 Polyak 步长）时锐度的演化，这些调节器沿迭代自适应步长至局部量，例如隐式地至锐度本身。我们发现，确定情形下经典 Armijo 线搜索令人惊讶的糟糕性能可很好地由其持续增加目标锐度的倾向来解释。另一方面，我们观察到 Polyak 步长通常运行在稳定性边缘甚至略超 thereof，在确定情形下优于其 Armijo 与固定步长对应方法。我们以一项分析作结，该分析表明释放步长调节器的潜力需要理解步长与锐度的联合动力学。