在分布式 SGD 中结合差分隐私与拜占庭容错
机器学习
2023-10-06 v4 密码学与安全
摘要
隐私与拜占庭容错（BR）是现代分布式机器学习的两个关键需求。这两个概念已分别被广泛研究，但如何将其有效结合的问题仍无定论。本文通过研究在标准参数服务器架构下，分布式 SGD 算法在以下情形中能学到准确模型的程度，来致力于解答该问题：(a) 一部分工作节点为恶意（拜占庭）的；(b) 另一部分虽诚实，但向服务器提供带噪声信息以保证差分隐私（DP）。我们首先观察到，DP 与 BR 中标准做法的整合并非易事。事实上，我们表明许多关于拜占庭故障下分布式 SGD 收敛的已有结果——尤其是那些依赖 -拜占庭容错的结果——在诚实工作节点施行 DP 时不再成立。为规避此缺陷，我们重访 -BR 理论以获得近似收敛保证。我们的分析提供了关于如何通过超参数优化改善该保证的关键见解。本质上，我们的理论与实证结果表明：(1) 不审慎地结合 DP 与 BR 的标准方法可能徒劳无功，但 (2) 通过仔细重调学习算法，我们可在同时保证 DP 与 BR 的情况下获得合理的学习效率。
引用
@article{arxiv.2110.03991,
title = {Combining Differential Privacy and Byzantine Resilience in Distributed SGD},
author = {Rachid Guerraoui and Nirupam Gupta and Rafael Pinot and Sebastien Rouault and John Stephan},
journal= {arXiv preprint arXiv:2110.03991},
year = {2023}
}