加速块坐标下降法：更快的贪心规则、消息传递、活跃集复杂性与超线性收敛
最优化与控制
2022-08-02 v3
摘要
块坐标下降（BCD）方法因迭代代价低、内存需求小、易于并行化以及能利用问题结构，被广泛用于大规模数值优化。三种主要算法选择影响 BCD 方法的性能：块划分策略、块选择规则和块更新规则。本文中我们探讨这三者全部构建模块，并为每一项提出可显著改进每次 BCD 迭代进展的变体。我们（i）提出新的贪心块选择策略，保证每次迭代比 Gauss-Southwell 规则有更多进展；（ii）探讨实际议题，如在使用“可变”块时如何实现新规则；（iii）探讨使用消息传递在变量间具有稀疏依赖的问题上高效计算大块上的矩阵或牛顿更新；以及（iv）考虑最优活跃流形识别，这导出 BCD 方法“活跃集复杂性”的界，并对某些具有稀疏解的问题（某些情况下在最优解处有限终止）带来超线性收敛。我们以最小二乘、逻辑回归、多类逻辑回归、标签传播和 L1 正则化等经典机器学习问题的数值结果支撑所有发现。
引用
@article{arxiv.1712.08859,
title = {Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence},
author = {Julie Nutini and Issam Laradji and Mark Schmidt},
journal= {arXiv preprint arXiv:1712.08859},
year = {2022}
}
备注
Updated author affiliations and contact information