具有方差缩减的异步随机复合优化
最优化与控制
2018-11-16 v1 分布式、并行与集群计算
机器学习
摘要
复合优化在从风险管理到强化学习的广泛机器学习领域中引起了大量关注。现有求解复合优化问题的方法通常以顺序和单机方式工作，这限制了其在大规模问题中的应用。为解决该问题，本文提出两种适用于处理大规模数据集的异步并行方差缩减随机复合梯度（AsyVRSC）算法。这两种算法分别为面向共享内存架构的 AsyVRSC-Shared 与面向主从架构的 AsyVRSC-Distributed。嵌入的方差缩减技术使算法达到线性收敛速率。此外，当时间延迟分别由数据维度或偏梯度的稀疏比限定界时，AsyVRSC-Shared 与 AsyVRSC-Distributed 具有可证明的线性加速比。进行了大量实验以验证所提算法的有效性。
引用
@article{arxiv.1811.06396,
title = {Asynchronous Stochastic Composition Optimization with Variance Reduction},
author = {Shuheng Shen and Linli Xu and Jingchang Liu and Junliang Guo and Qing Ling},
journal= {arXiv preprint arXiv:1811.06396},
year = {2018}
}
备注
30 pages, 19 figures