TernaryVote：异构数据上具有差分隐私、通信高效且拜占庭容错的分布式优化
机器学习
2024-02-19 v1 密码学与安全
分布式、并行与集群计算
信号处理
摘要
深度神经网络的分布式训练面临三个关键挑战：隐私保护、通信效率以及对故障和对抗行为的鲁棒性。尽管已有大量研究工作致力于独立解决这些挑战，但对它们的综合研究仍显不足。在本文中，我们提出了 TernaryVote，该方法结合了三元压缩器和多数投票机制，以同时实现差分隐私、梯度压缩和拜占庭容错。我们通过新兴的-差分隐私 (DP) 视角理论量化了隐私保证，并分析了所提算法的拜占庭容错性。特别是在隐私保证方面，与现有的基于符号的方法 StoSign 相比，所提方法改进了对梯度大小的维度依赖性，并在确保相当收敛速率的同时，通过小批量采样享受隐私放大效应。我们还证明了当少于 50% 的工作节点为盲目攻击者时，TernaryVote 具有鲁棒性，这与带有多数投票的 SIGNSGD 相匹配。大量的实验结果验证了所提算法的有效性。
引用
@article{arxiv.2402.10816,
title = {TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data},
author = {Richeng Jin and Yujie Gu and Kai Yue and Xiaofan He and Zhaoyang Zhang and Huaiyu Dai},
journal= {arXiv preprint arXiv:2402.10816},
year = {2024}
}