打破局部性加速块高斯-赛德尔法
最优化与控制
2017-09-26 v2 数值分析
摘要
Nesterov 和 Stich 最近的工作表明，在提前选择坐标固定划分的设置下，动量可用于加速块高斯-赛德尔的收敛速率。我们表明该设置过于受限，构造了这样的实例：通过以随机采样坐标运行非加速高斯-赛德尔来打破局部性，其性能大幅优于采用任何固定划分的加速高斯-赛德尔。受此发现的启发，我们在随机坐标采样设置下分析了加速块高斯-赛德尔算法。我们的分析用一个新的数据依赖参数捕获了加速的好处，该参数在矩阵子块条件良好时表现良好。通过实验，我们表明与未加速高斯-赛德尔和经典共轭梯度算法相比，采用随机坐标采样的加速高斯-赛德尔为大规模机器学习任务提供了加速。
引用
@article{arxiv.1701.03863,
title = {Breaking Locality Accelerates Block Gauss-Seidel},
author = {Stephen Tu and Shivaram Venkataraman and Ashia C. Wilson and Alex Gittens and Michael I. Jordan and Benjamin Recht},
journal= {arXiv preprint arXiv:1701.03863},
year = {2017}
}
备注
Presented at the 34th International Conference on Machine Learning (ICML 2017)