无痛获益：跨设备联邦学习中隐蔽抵消差分隐私注入噪声
分布式、并行与集群计算
2021-02-02 v1
摘要
联邦学习（FL）是一种新兴范式，通过它去中心化设备可以协作训练一个通用模型。然而，一个严重的担忧是 FL 中客户端与参数服务器（PS）之间交换的梯度信息会导致隐私泄露。为保护梯度信息，客户端可采用差分隐私（DP）在上传至 PS 之前添加额外噪声并扭曲原始梯度。然而，DP 噪声会显著损害模型精度，使得 DP 在真实系统中难以实用。在本工作中，我们提出一种新颖的噪声信息秘密共享（NISS）算法，通过客户端间共享取反噪声来缓解 DP 噪声的干扰。我们从理论上证明：1）若客户端可信，DP 噪声可在 PS 上被完美抵消；2）若其他客户端并非完全可信，客户端可轻易扭曲取反的 DP 噪声以自我保护，尽管代价是降低模型精度。NISS 特别适用于跨多个物联网（IoT）系统的 FL，其中所有 IoT 设备需协作训练一个模型。为验证 NISS 算法的有效性与优越性，我们使用 MNIST 和 CIFAR-10 数据集进行实验。实验结果验证了我们的分析，并表明若客户端可信，NISS 平均可提升模型精度 21% 且获得更好的隐私保护。
引用
@article{arxiv.2102.00404,
title = {Gain without Pain: Offsetting DP-injected Nosies Stealthily in Cross-device Federated Learning},
author = {Wenzhuo Yang and Yipeng Zhou and Maio Hu and Di Wu and James Xi Zheng and Hui Wang and Song Guo},
journal= {arXiv preprint arXiv:2102.00404},
year = {2021}
}