带有方差缩减的异步随机近端优化算法
机器学习
2016-09-28 v1
摘要
正则化经验风险最小化 (R-ERM) 是机器学习的一个重要分支，因为它约束了假设空间的容量并保证了学习算法的泛化能力。两种经典的近端优化算法，即近端随机梯度下降 (ProxSGD) 和近端随机坐标下降 (ProxSCD)，已被广泛用于求解 R-ERM 问题。最近，方差缩减技术被提出以改进 ProxSGD 和 ProxSCD，相应的 ProxSVRG 和 ProxSVRCD 具有更好的收敛速率。这些带有方差缩减技术的近端算法在中小规模应用中也取得了巨大成功。然而，为了求解大规模 R-ERM 问题并产生更多实际影响，这些算法的并行版本是迫切需要的。在本文中，我们提出了异步 ProxSVRG (Async-ProxSVRG) 和异步 ProxSVRCD (Async-ProxSVRCD) 算法，并证明了当训练数据稀疏时 Async-ProxSVRG 可以实现接近线性的加速，而只要块划分的数量设置得当，无论稀疏条件如何，Async-ProxSVRCD 都可以实现接近线性的加速。我们在正则化逻辑回归任务上进行了实验。结果验证了我们的理论发现，并展示了带有方差缩减的异步随机近端算法的实际效率。
关键词
引用
@article{arxiv.1609.08435,
title = {Asynchronous Stochastic Proximal Optimization Algorithms with Variance Reduction},
author = {Qi Meng and Wei Chen and Jingcheng Yu and Taifeng Wang and Zhi-Ming Ma and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1609.08435},
year = {2016}
}