联邦学习中的局部层次差分隐私
密码学与安全
2026-01-06 v1
摘要
联邦学习(FL)允许在不直接共享数据的情况下进行协作模型训练,但仍面临模型反演和成员推断等隐私攻击。现有的FL差分隐私解决方案常在整个模型上均匀注入噪声,导致效用下降且提供次优的隐私-效用权衡。为此,我们提出LaDP,一种用于FL的层次自适应噪声注入机制,在优化隐私保护的同时保持模型准确性。LaDP利用两个关键洞察:(1)神经网络层对模型效用贡献不均;且(2)层次隐私泄露可通过局部模型分布与全局模型分布之间的KL散度进行量化。LaDP根据各层的隐私敏感性和对模型性能的重要性动态注入噪声。我们提供严格的理论分析,证明LaDP满足-DP保证并在有界噪声下收敛。大量实验在CIFAR-10/100数据集上表明,LaDP平均减少46.14%的噪声注入,同时提升102.99%的准确性。在相同的隐私预算下,LaDP相较于动态隐私分配LDP和AdapLDP分别在准确性上提高了25.18%和6.1%。此外,LaDP能有效抵御重建攻击,将重建私有数据的FID分别比所有基线提高12.84%以上。我们的工作推动了在最小效用损失下的隐私保护联邦学习的实际部署。
引用
@article{arxiv.2601.01737,
title = {Local Layer-wise Differential Privacy in Federated Learning},
author = {Yunbo Li and Jiaping Gui and Fanchao Meng and Yue Wu},
journal= {arXiv preprint arXiv:2601.01737},
year = {2026}
}