面向联邦学习的普适调和差分隐私机制：提升精度与收敛性
机器学习
2024-07-25 v2 密码学与安全
摘要
差分隐私联邦学习（DP-FL）是一种在确保客户端可验证隐私的前提下进行协作模型训练的有前景技术。然而，在隐私与精度之间进行优化仍是一项关键挑战。据我们所知，我们提出了首个DP-FL框架（即UDP-FL），其普遍调和了任何随机化机制（例如最优机制）与高斯矩记者（即DP-SGD），显著提升精度与收敛性。具体而言，UDP-FL通过缓解对高斯噪声的依赖，展示出增强的模型性能。该变换中的关键中介变量是Renyi差分隐私概念，妥善用于调和隐私预算。我们还提出了一种创新方法，基于模式连通性分析，对DP-FL（包括本文的UDP-FL）进行收敛性理论分析。此外，我们通过大量实验评估了UDP-FL，与当前最先进（SOTA）方法进行基准测试，在隐私保证和模型性能方面均表现出优异。值得注意的是，UDP-FL对不同推理攻击具有显著的韧性，表明在联邦学习环境中保护敏感数据的能力取得了重大进展。
引用
@article{arxiv.2407.14710,
title = {Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence},
author = {Shuya Feng and Meisam Mohammady and Hanbin Hong and Shenao Yan and Ashish Kundu and Binghui Wang and Yuan Hong},
journal= {arXiv preprint arXiv:2407.14710},
year = {2024}
}