用于平衡联邦学习隐私与效用的变幅度扰动方法
机器学习
2023-03-09 v1 密码学与安全
性能
摘要
在保护联邦学习（FL）隐私的同时，差分隐私（DP）由于向模型更新中添加的DP噪声所引起的模型扰动，不可避免地会降低FL的效用（即准确率）。现有研究仅考虑了具有持续均方根幅度的噪声，忽视了通过调整幅度来缓解噪声不利影响的契机。本文提出一种具有时变噪声幅度的新DP扰动机制，以保护FL隐私并保持调整学习性能的能力。具体而言，我们提出噪声幅度的几何级数形式，并解析揭示了该级数对全局聚合次数及-DP要求的依赖关系。我们推导了该级数的在线精炼方法，以防止FL因过度扰动噪声而过早收敛。另一重要方面是针对采用新DP机制训练的FL多层感知机（MLP）损失函数所建立的上界。据此，获得了平衡学习与隐私的最优全局聚合次数。使用MLP、支持向量机和卷积神经网络模型在四个公开数据集上进行了大量实验。与具有持续噪声幅度的先进高斯噪声机制相比，证实了新DP机制对隐私保护FL收敛性与准确率的贡献。
引用
@article{arxiv.2303.04274,
title = {Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning},
author = {Xin Yuan and Wei Ni and Ming Ding and Kang Wei and Jun Li and H. Vincent Poor},
journal= {arXiv preprint arXiv:2303.04274},
year = {2023}
}