ARock：一种用于异步并行坐标更新的算法框架

寻找非扩张算子的不动点，即 $x^*=Tx^*$，抽象了数值线性代数、优化及科学计算其他领域中的许多问题。为求解不动点问题，我们提出 ARock，一种多个代理（机器、处理器或核）以异步并行方式更新 $x$ 的算法框架。异步对于并行计算至关重要，因为它减少同步等待、缓解通信瓶颈，从而显著加速计算。在 ARock 的每一步，一个代理基于可能过时的 $x$ 信息更新随机选取的坐标 $x_i$。代理通过全局内存或通信共享 $x$。若写入 $x_i$ 是原子的，则代理可无内存锁地读写 $x$。理论上，我们证明若非扩张算子 $T$ 具有不动点，则以概率 1，ARock 生成收敛到 $T$ 的不动点的序列。我们对 $T$ 和步长的条件弱于可比工作。也得到了线性收敛。我们提出了 ARock 用于线性系统、凸优化、机器学习以及分布式与去中心化共识问题的特例。给出了求解稀疏逻辑回归问题的数值实验。