IS-ASGD：利用重要性采样加速异步随机梯度下降
分布式、并行与集群计算
2018-04-11 v3
摘要
近年来，人们投入巨大努力开发了用于加速随机梯度下降 (SGD) 算法收敛率的方差缩减 (VR) 技术。VR 的两种变体，即随机方差缩减梯度 (SVRG-SGD) 和重要性采样 (IS-SGD)，已取得了显著进展。同时，由于优化问题规模的不断增长，异步 SGD (ASGD) 变得愈发关键。因此，在 ASGD 中应用 VR 以加速其收敛率引起了广泛关注，并提出了 SVRG-ASGD。然而，我们发现当数据集稀疏且大规模时，SVRG 在加速 ASGD 方面的表现令人不满。在这种情况下，SVRG-ASGD 的迭代计算成本比 ASGD 高出数个数量级，导致其速度非常慢。另一方面，IS 以极少的额外计算成本实现了收敛率的提升，并且对数据集的稀疏性具有不变性。这一优势使其非常适合用于加速大规模稀疏数据集上的 ASGD。在本文中，我们提出了一种新颖的结合 IS 的 ASGD 以有效加速收敛率，即 IS-ASGD。我们从理论上证明了 IS-ASGD 优越的收敛界，实验结果也证实了我们的论断。
引用
@article{arxiv.1706.08210,
title = {IS-ASGD: Accelerating Asynchronous SGD using Importance Sampling},
author = {Fei Wang and Jun Ye and Weichen Li and Guihai Chen},
journal= {arXiv preprint arXiv:1706.08210},
year = {2018}
}