PASSCoDe：并行异步随机对偶坐标下降法
机器学习
2015-04-07 v1
摘要
随机对偶坐标下降法 (SDCD) 已成为求解 正则化经验风险最小化问题族（包括线性 SVM、逻辑回归及许多其他问题）最有效的方法之一。DCD 的原始实现相当缓慢；然而，通过在更新对偶变量时维护原始变量，可以显著降低 SDCD 的时间复杂度。这种策略构成了广泛使用的 LIBLINEAR 包中的核心算法。在本文中，我们并行化了 LIBLINEAR 中的 SDCD 算法。在最近的研究中，已提出了几种同步并行 SDCD 算法，然而，它们在共享内存多核设置中未能实现良好的加速比。在本文中，我们提出了一族异步随机对偶坐标下降算法 (ASDCD)。每个线程反复选择一个随机对偶变量，并使用存储在共享内存中的原始变量进行坐标更新。我们分析了应用不同锁定/原子机制时的收敛性质。对于采用原子操作的实现，我们证明了在温和条件下的线性收敛性。对于不使用任何原子操作或锁定的实现，我们提出了多核环境下 ASDCD 的首个*向后误差分析*，表明收敛解是具有扰动正则化项的原始问题的精确解。实验结果表明，我们的方法比以前的并行坐标下降求解器快得多。
引用
@article{arxiv.1504.01365,
title = {PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent},
author = {Cho-Jui Hsieh and Hsiang-Fu Yu and Inderjit S. Dhillon},
journal= {arXiv preprint arXiv:1504.01365},
year = {2015}
}