基于卷积变分瓶颈的隐私保护联邦学习
摘要
梯度反转攻击是联邦学习中普遍存在的威胁，因其利用梯度泄露重建本应私有的训练数据。近期工作提出通过引入基于变分建模的隐私增强模块(PRivacy EnhanCing mODulE, PRECODE)来在不损失模型效用的前提下防止梯度泄露。在缺乏进一步分析的情况下，研究表明PRECODE能成功抵御梯度反转攻击。本文做出多项贡献。首先，我们研究PRECODE对梯度反转攻击的影响以揭示其底层工作原理。我们表明变分建模将随机性引入PRECODE及神经网络中后续层的梯度。这些层的随机梯度阻止了迭代梯度反转攻击的收敛。其次，我们构造了一种攻击，通过在攻击优化中有意忽略随机梯度来消除PRECODE的隐私保护效果。为保持PRECODE的隐私保护效果，我们的分析表明变分建模必须置于网络早期。然而，由于模型效用降低及额外模型参数数量的激增，PRECODE的早期放置通常不可行。因此，作为第三项贡献，我们提出了一种新颖的隐私模块——卷积变分瓶颈(Convolutional Variational Bottleneck, CVB)——其可置于神经网络早期而不受这些缺陷影响。我们在三种开创性模型架构与六个图像分类数据集上进行了广泛的实证研究。我们发现所有架构均易受梯度泄露攻击，而我们所提出的CVB可予以防范。与PRECODE相比，我们表明这一新颖隐私模块需要更少的可训练参数，从而更少的计算与通信成本，以有效保护隐私。
引用
@article{arxiv.2309.04515,
title = {Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks},
author = {Daniel Scheliga and Patrick Mäder and Marco Seeland},
journal= {arXiv preprint arXiv:2309.04515},
year = {2024}
}
备注
14 pages (12 figures 6 tables) + 6 pages supplementary materials (6 tables). Under review. This work has been submitted to the IEEE for possible publication. arXiv admin note: substantial text overlap with arXiv:2208.04767