加权分布式差分隐私经验风险最小化：凸与非凸
机器学习
2021-10-22 v2 机器学习
摘要
分布式机器学习是一种允许不同方在不披露各自数据的情况下基于所有数据集学习模型的方法。本文提出一种加权分布式差分隐私（WD-DP）经验风险最小化（ERM）方法，用于在分布式环境下训练模型，并考虑了不同客户端的不同权重。我们通过梯度扰动与添加高斯噪声来保证差分隐私，并在分布式环境下的梯度扰动方法上推进了现有最优水平。通过详尽的理论分析，我们表明在分布式环境中，通过考虑多方持有的不同权重，可以改进噪声界与超额经验风险界。此外，考虑到 ERM 中凸损失函数的约束在某些情况下不易满足，我们将方法推广至满足 Polyak-Lojasiewicz 条件的非凸损失函数。在真实数据集上的实验表明，我们的方法更为可靠，且提升了分布式差分隐私 ERM 的性能，尤其在客户端数据规模不均衡的情况下。
引用
@article{arxiv.1910.10308,
title = {Weighted Distributed Differential Privacy ERM: Convex and Non-convex},
author = {Yilin Kang and Yong Liu and Weiping Wang},
journal= {arXiv preprint arXiv:1910.10308},
year = {2021}
}