非交换算术-几何平均不等式之谷底：猜想、案例研究与后果
最优化与控制
2012-02-21 v1 机器学习
摘要
基于从某个池中采样进行迭代决策的随机算法在机器学习和优化中无处不在。例如随机梯度下降和随机坐标下降。本文在理论上评估了此类算法中有放回采样与无放回采样之间的性能差异。聚焦于最小均方优化，我们提出了一个非交换算术-几何平均不等式，该不等式将证明无放回采样的期望收敛速度快于有放回采样。我们证明该不等式对许多类随机矩阵以及一些病态例子成立。我们给出了两种采样模型之间差异的确定性最坏情况界，并探讨了在完全一般性下证明该不等式的一些障碍。我们详细阐述了该不等式对随机梯度下降和用于求解线性系统的随机Kaczmarz算法的后果。
引用
@article{arxiv.1202.4184,
title = {Beneath the valley of the noncommutative arithmetic-geometric mean inequality: conjectures, case-studies, and consequences},
author = {Benjamin Recht and Christopher Re},
journal= {arXiv preprint arXiv:1202.4184},
year = {2012}
}
备注
25 pages, 6 figures