大规模机器学习中块坐标下降法的更优收敛性分析
最优化与控制
2016-08-18 v1 数值分析
摘要
本文考虑具有块坐标方向 Lipschitz 连续梯度的大规模光滑凸函数的无约束最小化问题。块坐标下降(BCD)方法是最早被提出用于解决此类问题的优化方案之一\cite{nesterov2012efficiency}。我们基于一种称为性能估计问题(PEP)的有效技术，获得了关于 BCD 方法基于信息复杂度的新的下界（据我们所知目前最低），该下界比已知最佳下界小 倍；PEP 由 Drori 和 Teboulle \cite{drori2012performance} 近期提出用于分析一阶黑盒优化方法的性能。数值测试证实了我们的分析。
引用
@article{arxiv.1608.04826,
title = {A better convergence analysis of the block coordinate descent method for large scale machine learning},
author = {Ziqiang Shi and Rujie Liu},
journal= {arXiv preprint arXiv:1608.04826},
year = {2016}
}