Skellam 混合机制：一种具有差分隐私的联邦学习新方法
机器学习
2024-07-04 v2 密码学与安全
摘要
深度神经网络具有记忆底层训练数据的强大能力，这可能引发严重的隐私问题。一种有效的解决方案是以差分隐私训练模型，其通过向梯度中注入随机噪声提供严格的隐私保证。本文关注敏感数据分布于多个参与者之间、并通过联邦学习（FL）联合训练模型的场景，同时使用安全多方计算（MPC）确保各梯度更新的机密性，并利用差分隐私避免所得模型中的数据泄露。此设置中的一个主要挑战是，深度学习中常见的强制 DP 的机制注入实值噪声，与 MPC 在参与者间交换有限域整数从根本上不兼容。因此，大多数现有 DP 机制需要相当高的噪声水平，导致模型效用不佳。受此驱动，我们提出 Skellam 混合机制（SMM），一种在通过 FL 构建的模型上强制实施 DP 的方法。与现有方法相比，SMM 消除了输入梯度必须为整数值的假设，从而减少了为保持 DP 所注入的噪声量。此外，得益于 Skellam 分布良好的组合与子采样性质，SMM 允许紧致的隐私核算，而这些性质是以 DP 实现准确深度学习的关键。SMM 的理论分析极为非平凡，尤其考虑到（i）一般而言差分隐私深度学习的复杂数学，以及（ii）两个 Skellam 分布的混合相当复杂，且据我们所知尚未在 DP 文献中被研究过。在各种实际设置上的大量实验表明，SMM 在所得模型的效用方面持续且显著优于现有方案。
引用
@article{arxiv.2212.04371,
title = {Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy},
author = {Ergute Bao and Yizheng Zhu and Xiaokui Xiao and Yin Yang and Beng Chin Ooi and Benjamin Hong Meng Tan and Khin Mi Mi Aung},
journal= {arXiv preprint arXiv:2212.04371},
year = {2024}
}