理解优化在双重下降中的作用

模型级双重下降现象，即测试误差随模型规模增大先出现峰值随后降低的现象，是一个引人关注的话题，由于实践中观察到的显著差异，它引起了研究者的注意 \citep{Belkin2018ReconcilingMM}。此外，尽管在各种任务和架构中都观察到了双重下降，但有时即使没有显式正则化（如权重衰减和提前停止），双重下降的峰值也可能明显缺失或减弱。在本文中，我们从优化角度研究了这一有趣现象，并针对双重下降为何有时表现微弱或完全不出现提出了一个简单的基于优化的解释。据我们所知，我们首次证明了许多导致模型级双重下降的迥异因素（初始化、归一化、批大小、学习率、优化算法）可以从优化视角统一起来：当且仅当优化器能够找到损失足够小的极小值时，才会观察到模型级双重下降。这些因素直接影响优化问题或优化器的条件数，从而影响优化器最终找到的极小值，降低或增加双重下降峰值的高度。我们在各种优化设置下对随机特征模型和双层神经网络进行了一系列受控实验，证明了这一基于优化的统一观点。我们的结果暗示了以下结论：双重下降不太可能成为现实世界机器学习设置中的问题。此外，我们的结果有助于解释实践中微弱的双重下降峰值与精心设计的设置中可观察到的强峰值之间的差异。