具有任意采样与最优小批量收敛率的加速坐标下降法

加速坐标下降法因其在大规模问题上的高效性而成为一种广泛流行的优化算法。它在重要的一类经验风险最小化问题上实现了当前最优的复杂度。在本文中，我们设计并分析了一种加速坐标下降 (ACD) 方法，该方法在每次迭代中根据任意但固定的概率律（作为方法的一个参数）更新一个随机坐标子集。如果每次迭代更新所有坐标，我们的方法退化为 Nesterov 的经典加速梯度下降法 AGD。如果每次迭代更新单个坐标，并且我们选择与逐坐标 Lipschitz 常数的平方根成正比的概率，我们的方法退化为 Allen-Zhu, Qu, Richtárik 和 Yuan 目前最快的坐标下降法 NUACDM。尽管 ACD 的小批量变体在实践中更受欢迎且更具相关性，但目前尚无优于标准均匀小批量采样的 ACD 重要性采样。通过我们一般性分析所提供的见解，我们为小批量 ACD 设计了新的重要性采样，在实践中显著优于此前最先进的小批量 ACD。我们证明的收敛率至多比均匀采样的小批量 ACD 的收敛率差 ${\cal O}(\sqrt{\tau})$ 倍，但可以好 ${\cal O}(n/\tau)$ 倍，其中 $\tau$ 是小批量大小。由于在现代监督学习训练系统中，选择 $\tau \ll n$ 是标准做法，且通常 $\tau={\cal O}(1)$，因此我们的方法可以带来显著的加速。最后，我们针对小批量非加速 CD 也获得了类似结果，改进了此前最佳收敛率。