坐标下降法采用高斯-南威尔规则比随机选择收敛更快
最优化与控制
2018-10-30 v2 机器学习
统计计算
机器学习
摘要
近期在随机坐标下降算法的理论与应用方面已有大量工作，始于Nesterov的工作[SIAM J. Optim., 22(2), 2012]，他证明了随机坐标选择规则达到与高斯-南威尔选择规则相同的收敛速率。这一结果暗示我们绝不应使用高斯-南威尔规则，因为它通常比随机选择昂贵得多。然而，这些算法的经验行为与该理论结果矛盾：在选择规则的计算代价相当的应用中，高斯-南威尔选择规则往往比随机坐标选择表现得好得多。我们给出了高斯-南威尔规则的一个简单分析，表明——除极端情况外——其收敛速率快于选择随机坐标。此外，在这项工作中我们 (i) 证明了精确坐标优化改善了某些稀疏问题的收敛速率，(ii) 提出了高斯-南威尔-利普希茨规则，在已知偏导数的利普希茨常数时给出甚至更快的收敛速率，(iii) 分析了近似高斯-南威尔规则的影响，以及 (iv) 分析了高斯-南威尔规则的近端梯度变体。
引用
@article{arxiv.1506.00552,
title = {Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection},
author = {Julie Nutini and Mark Schmidt and Issam H. Laradji and Michael Friedlander and Hoyt Koepke},
journal= {arXiv preprint arXiv:1506.00552},
year = {2018}
}
备注
ICML 2015. v2: Updated the Gauss-Southwell-q result in Section 8 and Appendix H, to remove the part depending on mu_1 (the proof had an error). Added Section 8.1, which discusses conditions under which a rate depending on mu_1 does hold