打破非光滑壁垒：一种用于复合优化的可扩展并行方法

由于其简单性和优异性能，随机梯度下降的并行异步变体已成为在多核架构上解决广泛大规模优化问题的流行方法。然而，尽管它们在实际中取得成功，仍然缺乏对非光滑目标的支持，使得它们不适用于机器学习中许多感兴趣的问题，例如带有凸约束的Lasso、组Lasso或经验风险最小化。在这项工作中，我们提出并分析了ProxASAGA，一种受SAGA（一种方差缩减增量梯度算法）启发的完全异步稀疏方法。所提方法易于实现，并在几个非光滑大规模问题上显著优于最先进水平。我们证明了在梯度稀疏性和近端项的块可分离性假设下，我们的方法相对于顺序版本实现了理论的线性加速比。在多核架构上的经验基准测试展示了在20核机器上高达12倍的实用加速比。