AdaGrad 在可分数据上的隐式偏置
机器学习
2019-06-11 v1 机器学习
摘要
我们研究了 AdaGrad 在可分线性分类问题上的隐式偏置。我们表明，AdaGrad 收敛到的方向可以刻画为一个二次优化问题的解，该问题具有与硬 SVM 问题相同的可行集。我们还讨论了 AdaGrad 超参数的不同选择可能如何影响该方向。这为理解为何自适应方法在实践中似乎不具备像梯度下降那样好的泛化能力提供了更深入的认识。
引用
@article{arxiv.1906.03559,
title = {The Implicit Bias of AdaGrad on Separable Data},
author = {Qian Qian and Xiaoyuan Qian},
journal= {arXiv preprint arXiv:1906.03559},
year = {2019}
}