ImprovDML：面向私有抗 Byzantine 分布式机器学习的改进权衡
机器学习
2025-06-19 v1
摘要
联合解决分布式机器学习（DML）中的 Byzantine 攻击和隐私泄露问题已成为重要议题。常见策略是将 Byzantine 抗性聚合规则与差分隐私机制集成。然而，这些技术的结合常导致模型准确率显著下降。为此，我们提出了一个名为 ImprovDML 的去中心化 DML 框架，在确保隐私保护和抗 Byzantine 攻击韧性的同时实现高模型准确率。该框架利用一种鲁棒向量共识算法，在每个迭代中计算正常（非 Byzantine）代理人凸包内的点，以实现鲁棒聚合。随后，对梯度引入多变量高斯噪声以实现隐私保护。我们提供了收敛保证，并在非凸设置下推导了渐近学习误差上界，比现有工作更紧密。对于隐私分析，我们采用集中几何隐私概念，基于输入之间的欧几里得距离量化隐私保护。我们演示了它在隐私保护与模型准确率之间实现了改进的权衡。最后，数值仿真验证了我们的理论结果。
引用
@article{arxiv.2506.15181,
title = {ImprovDML: Improved Trade-off in Private Byzantine-Resilient Distributed Machine Learning},
author = {Bing Liu and Chengcheng Zhao and Li Chai and Peng Cheng and Yaonan Wang},
journal= {arXiv preprint arXiv:2506.15181},
year = {2025}
}