MISO 携更优证明与收敛速率再度兴起
最优化与控制
2019-06-05 v1
摘要
MISO（亦称 Finito）是最早发现的随机方差缩减方法之一，但其流行度相当低。其初始分析受到所谓大数据假设的显著限制。尽管后续工作利用负动量消除了该假设，但这引入了一个新参数，并且需要强凸性和光滑常数的知识，而这在实践中很少可能。我们通过引入一种仅需光滑常数且不含任何额外参数的新变体来复兴该方法。此外，当从步长中移除强凸常数时，我们给出了该方法的新分析，其不再使用每个分量都强凸的假设。这使我们也能获得迄今未知的 MISO 非凸收敛性。为使所提方法在实践中高效，我们推导了具有任意均匀采样的 minibatching 界，当期望 minibatch 大小在某个范围内时带来线性加速。我们的数值实验表明，MISO 是 SAGA 和 SVRG 的有力竞争者，并且有时在真实数据集上优于它们。
引用
@article{arxiv.1906.01474,
title = {MISO is Making a Comeback With Better Proofs and Rates},
author = {Xun Qian and Alibek Sailanbayev and Konstantin Mishchenko and Peter Richtárik},
journal= {arXiv preprint arXiv:1906.01474},
year = {2019}
}
备注
23 pages, 3 figures, 3 tables