具有方差缩减的异步随机块坐标下降算法
机器学习
2016-11-15 v3
摘要
随机优化的异步并行实现近年来在理论和实践上取得了巨大成功。无锁的异步实现比带有读写锁的实现更高效。本文关注由光滑凸函数和块可分离凸函数组成的复合目标函数，该函数在机器学习和计算机视觉中广泛存在。我们提出了一种采用方差缩减加速技术的异步随机块坐标下降算法（AsySBCDVR），其在实现和分析中均为无锁的。AsySBCDVR尤为重要，因为它能同时随样本量和维度良好扩展。我们证明了当函数具有最优强凸性时，AsySBCDVR达到线性收敛率；当具有一般凸性时，达到次线性收敛率。更重要的是，在共享内存的并行系统上可获得近线性加速比。
引用
@article{arxiv.1610.09447,
title = {Asynchronous Stochastic Block Coordinate Descent with Variance Reduction},
author = {Bin Gu and Zhouyuan Huo and Heng Huang},
journal= {arXiv preprint arXiv:1610.09447},
year = {2016}
}