一个系数使 SVRG 行之有效

随机方差缩减梯度（SVRG）由 Johnson & Zhang（2013）提出，是一种理论上引人注目的优化方法。然而，正如 Defazio & Bottou（2019）所强调的，其在深度学习中的有效性尚待证明。在本工作中，我们展示了 SVRG 在优化真实世界神经网络中的潜力。我们的实证分析发现，对于更深的神经网络，SVRG 中方差缩减项的强度应更小并随训练推进而减小。受此启发，我们引入一个乘法系数 $\alpha$ 来控制该强度，并通过线性衰减调度对其调整。我们将该方法命名为 $\alpha$-SVRG。我们的结果表明 $\alpha$-SVRG 能更好地优化模型，在各种模型架构和多个图像分类数据集上相比基线和标准 SVRG 一致地降低训练损失。我们希望我们的发现能鼓励对深度学习中方差缩减技术的进一步探索。代码见 github.com/davidyyd/alpha-SVRG。