坐标下降方法中的随机性与排列
最优化与控制
2018-03-23 v1
摘要
我们研究了在凸二次问题上采用精确线搜索的坐标下降（CD）方法。我们的主要重点是研究在每个 epoch 中使用随机排列的 CD 方法的性能，并将其与使用确定性顺序和有放回随机采样的 CD 方法的性能进行比较。我们聚焦于一类具有对角占优 Hessian 矩阵的凸二次问题，对此我们证明了在最坏情况下，使用随机排列代替有放回随机采样可以提高 CD 方法的性能。此外，我们证明了随着 Hessian 矩阵变得更加对角占优，使用随机排列所获得的性能提升会增加。我们还表明，对于这类问题，使用任何固定的确定性顺序都比使用随机排列产生更优的性能。我们针对文献中使用的三种不同收敛准则进行了详细的理论分析，并通过数值实验支持了我们的理论结果。
关键词
引用
@article{arxiv.1803.08200,
title = {Randomness and Permutations in Coordinate Descent Methods},
author = {Mert Gurbuzbalaban and Asuman Ozdaglar and Nuri Denizcan Vanli and Stephen J. Wright},
journal= {arXiv preprint arXiv:1803.08200},
year = {2018}
}