A2BCD：一种具有最优复杂度的异步加速块坐标下降算法

在本文中，我们提出异步加速非均匀随机块坐标下降算法（A2BCD），这是首个达到最优复杂度的异步 Nesterov 加速算法。该并行算法求解无约束凸最小化问题，使用 p 个计算节点以异步方式对共享解向量进行计算更新，无需中心协调。异步算法中的节点在开始新迭代前不等待其他节点的更新，而是简单地使用可用的最新解信息计算更新。这使得它们能够比传统算法更快地完成迭代，尤其在大规模下，通过消除传统算法代价高昂的同步惩罚。我们首先证明，只要最大延迟不太大，A2BCD 以匹配近期提出的 NU_ACDM 的快速加速率线性收敛到解。有些令人惊讶的是，A2BCD 使用过时信息并未付出复杂性代价。然后我们证明随机坐标下降方法的下界复杂性，表明 A2BCD（以及 NU_ACDM）在常数因子内具有最优复杂性。我们通过数值实验证实，A2BCD 即使在小规模下也优于当前最快的坐标下降算法 NU_ACDM。我们还推导并分析了二阶常微分方程，它是我们算法的连续时间极限，并证明其以类似的加速率线性收敛到解。