APALM 拍击之声：基于随机异步 PALM 的快速非光滑非凸优化
最优化与控制
2016-06-09 v1
摘要
我们引入了随机异步近端交替线性化极小化（SAPALM）方法，这是一种用于求解非凸、非光滑优化问题的块坐标随机近端梯度方法。SAPALM 是首个可证明在一大类非凸、非光滑问题上收敛的异步并行优化方法。我们证明了在该问题类上，SAPALM 匹配了同步或异步方法中已知的最佳收敛速率。我们给出了可期望实现线性加速的 worker 数量上界，该上界与针对较简单问题已知的最佳界相匹配，并表明在实践中 SAPALM 实现了这种线性加速。我们在若干矩阵分解问题上展示了最先进的性能。
引用
@article{arxiv.1606.02338,
title = {The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM},
author = {Damek Davis and Brent Edmunds and Madeleine Udell},
journal= {arXiv preprint arXiv:1606.02338},
year = {2016}
}