SVRG 遇见 AdaGrad：无痛方差缩减
机器学习
2021-11-04 v2 最优化与控制
机器学习
摘要
有限和最小化中的方差缩减（VR）方法通常需要依赖问题相关常数的知识，而这些常数往往未知且难以估计。为此，我们利用自适应梯度方法的思想提出了 AdaSVRG，它是常用 VR 方法 SVRG 的更具鲁棒性的变体。AdaSVRG 在 SVRG 的内循环中使用 AdaGrad，使其对步长选择具有鲁棒性。在最小化 个光滑凸函数之和时，我们证明 AdaSVRG 的一个变体需要 次梯度评估以达到 的次优性，匹配典型速率，但无需知道问题相关常数。接下来，我们利用 AdaGrad 的性质提出一种启发式方法，自适应地确定 AdaSVRG 中每个内循环的长度。通过在合成和真实世界数据集上的实验，我们验证了 AdaSVRG 的鲁棒性和有效性，展示了其相对于标准及其他“免调参”VR 方法的优越性能。
引用
@article{arxiv.2102.09645,
title = {SVRG Meets AdaGrad: Painless Variance Reduction},
author = {Benjamin Dubois-Taine and Sharan Vaswani and Reza Babanezhad and Mark Schmidt and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2102.09645},
year = {2021}
}