非凸问题的无锁优化
机器学习
2016-12-19 v1 机器学习
摘要
随机梯度下降（SGD）及其变体因其在优化方面的有效性和高效性而在机器学习中备受关注。为了处理大规模问题，研究人员最近提出了几种基于无锁策略的并行 SGD（LF-PSGD）方法用于多核系统。然而，现有工作仅证明了这些 LF-PSGD 方法在凸问题上的收敛性。据我们所知，尚无工作证明 LF-PSGD 方法在非凸问题上的收敛性。在本文中，我们针对两种具有代表性的 LF-PSGD 方法 Hogwild! 和 AsySVRG 在非凸问题上的收敛性提供了理论证明。实验结果也表明，Hogwild! 和 AsySVRG 在非凸问题上均能收敛，这成功验证了我们的理论结果。
引用
@article{arxiv.1612.03441,
title = {Lock-Free Optimization for Non-Convex Problems},
author = {Shen-Yi Zhao and Gong-Duo Zhang and Wu-Jun Li},
journal= {arXiv preprint arXiv:1612.03441},
year = {2016}
}