低成本隐私保护去中心化学习
机器学习
2025-05-30 v3 分布式、并行与集群计算
摘要
去中心化学习（DL）是一种新兴的协作机器学习范式，它使网络中的节点能够共同训练模型而无需共享原始数据或依赖中央服务器。本文介绍了 Zip-DL，一种隐私感知的 DL 算法，它利用相关噪声在确保低通信成本下高效收敛的同时，实现了针对局部对手的强隐私保护。通过逐步中和分布式平均过程中添加的噪声，Zip-DL 将强隐私保证与高模型精度相结合。其设计每次梯度下降迭代仅需一轮通信，与竞争方法相比显著降低了通信开销。我们建立了收敛速度和隐私保证的理论界限。此外，展示 Zip-DL 实际适用性的大量实验使其在精度与脆弱性的权衡中优于 SOTA 方法。具体而言，与基线 DL 相比，Zip-DL（i）将成员推理攻击成功率降低了高达 35%；与提供相似效用的竞争方法相比，（ii）将攻击效力降低了高达 13%；在相同威胁模型下，与 SOTA 隐私保护方法相比，（iii）实现了高达 59% 的更高精度以完全消除基本攻击场景。这些结果使 Zip-DL 成为实际应用中隐私保护去中心化学习的实用且高效的解决方案。
引用
@article{arxiv.2403.11795,
title = {Low-Cost Privacy-Preserving Decentralized Learning},
author = {Sayan Biswas and Davide Frey and Romaric Gaudel and Anne-Marie Kermarrec and Dimitri Lerévérend and Rafael Pires and Rishi Sharma and François Taïani},
journal= {arXiv preprint arXiv:2403.11795},
year = {2025}
}
备注
24 pages, accepted at Pets 2025