近乎免调参的方差缩减
机器学习
2020-06-11 v2 最优化与控制
机器学习
摘要
以 SVRG 和 SARAH 为代表的方差缩减类算法在经验风险最小化问题上具有公认的优势。然而，它们需要网格搜索来调参（步长与内循环迭代次数）以达到最优性能。本文引入“近乎免调参”的 SVRG 与 SARAH 方案，配备 i) Barzilai-Borwein (BB) 步长；ii) 平均化；以及 iii) 根据 BB 步长调整的内循环长度。特别地，首先通过“估计序列”视角重新审视 SVRG、SARAH 及其 BB 变体，以实现新的平均化方法，在理论上收紧其收敛速率，并在步长或内循环长度选大时实证提升性能。随后提出一种简单而有效的手段来调整每内循环的迭代次数，以增强所提平均化方案与 BB 步长的优势。数值实验证实了所提方法。
引用
@article{arxiv.1908.09345,
title = {Almost Tune-Free Variance Reduction},
author = {Bingcong Li and Lingda Wang and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:1908.09345},
year = {2020}
}