对角线性网络上的(S)GD：隐式正则化、大步长与稳定边缘
机器学习
2023-10-26 v2 最优化与控制
机器学习
摘要
在本文中，我们研究了随机性和大步长对对角线性网络上梯度下降（GD）和随机梯度下降（SGD）隐式正则化的影响。我们证明了在过参数化回归设置中，使用宏观步长的GD和SGD的收敛性，并通过隐式正则化问题刻画了它们的解。我们清晰的刻画得出了关于随机性和步长对恢复解影响的定性见解。具体而言，我们表明大步长始终有利于SGD处理稀疏回归问题，而它们可能阻碍GD恢复稀疏解。这些效应在略低于发散阈值的狭窄步长窗口内（即“稳定边缘”区域）被放大。我们的发现得到了实验结果的支持。
引用
@article{arxiv.2302.08982,
title = {(S)GD over Diagonal Linear Networks: Implicit Regularisation, Large Stepsizes and Edge of Stability},
author = {Mathieu Even and Scott Pesme and Suriya Gunasekar and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2302.08982},
year = {2023}
}