Zeno：基于可疑性容错的分布式随机梯度下降
机器学习
2019-05-21 v3 密码学与安全
分布式、并行与集群计算
机器学习
摘要
我们提出 Zeno，一种使分布式机器学习（特别是随机梯度下降（SGD））能够容忍任意数量故障节点的技术。Zeno 推广了先前假设多数非故障节点的结果；我们仅需假设存在一个非故障工作节点。我们的核心思想是对潜在缺陷的工作节点产生怀疑。由于这很可能带来误报，我们使用基于排序的偏好机制。我们证明了在这些场景下非凸问题 SGD 的收敛性。实验结果表明 Zeno 优于现有方法。
引用
@article{arxiv.1805.10032,
title = {Zeno: Distributed Stochastic Gradient Descent with Suspicion-based Fault-tolerance},
author = {Cong Xie and Oluwasanmi Koyejo and Indranil Gupta},
journal= {arXiv preprint arXiv:1805.10032},
year = {2019}
}
备注
ICML 2019