动量是否会改变可分数据上的隐式正则化？
机器学习
2022-05-30 v2 最优化与控制
摘要
动量加速技术被广泛采用于许多优化算法中。然而，关于动量如何影响优化算法的泛化性能，尚无理论回答。本文通过分析基于动量的优化的隐式正则化来研究该问题。我们证明，在具有可分数据与指数尾损失线性分类问题上，带动量的梯度下降（GDM）收敛至 L2 最大间隔解，这与原始梯度下降相同。这意味着带动量加速的梯度下降仍收敛至低复杂度模型，从而保障其泛化。我们随后分析了 GDM 的随机与自适应变体（即 SGDM 与确定性 Adam），并表明它们同样收敛至 L2 最大间隔解。在技术上，为克服分析动量时误差累积的困难，我们构造新的势函数来分析模型参数与最大间隔解之间的差距。我们进行了数值实验并支持我们的理论结果。
引用
@article{arxiv.2110.03891,
title = {Does Momentum Change the Implicit Regularization on Separable Data?},
author = {Bohan Wang and Qi Meng and Huishuai Zhang and Ruoyu Sun and Wei Chen and Zhi-Ming Ma and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2110.03891},
year = {2022}
}