无歧路：神经网络优化路径的简单几何
机器学习
2023-06-22 v1 最优化与控制
摘要
理解神经网络的优化动态对于缩小理论与实践之间的差距是必要的。已知随机一阶优化算法能高效地在深度神经网络中定位有利极小值。然而，这种效率与神经损失景观的非凸且看似复杂的结构形成对比。在本研究中，我们深入探究优化路径上采样梯度的基本几何性质。我们关注两个关键量，它们出现在受限割线不等式和误差界中。两者对一阶优化都具有重要意义。我们的分析揭示，尽管小批量采样带来了随机性，这些量在整个训练过程中表现出可预测的、一致的行为。我们的发现表明，优化轨迹不仅从未遭遇显著障碍，而且在大部分训练期间保持稳定的动态。这些观测到的性质具有足够的表达力，可从理论上保证线性收敛，并推导出与经验做法相仿的学习率调度。我们在图像分类、语义分割和语言建模上，跨越不同批量大小、网络架构、数据集、优化器和初始化种子进行了实验。我们讨论了各因素的影响。我们的工作为神经网络损失函数的性质提供了新颖见解，并为更贴合普遍实践的理论框架打开了大门。
引用
@article{arxiv.2306.11922,
title = {No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths},
author = {Charles Guille-Escuret and Hiroki Naganuma and Kilian Fatras and Ioannis Mitliagkas},
journal= {arXiv preprint arXiv:2306.11922},
year = {2023}
}