R-CONV：一种通过卷积梯度实现高效数据重建的分析方法
机器学习
2024-12-17 v1 密码学与安全
计算机视觉与模式识别
摘要
在从大量分布式数据中学习的努力中，联邦学习通过使用梯度共享机制而非交换原始数据，成为一种有前景的隐私保护方法。然而，近期研究表明，私有训练数据可能通过多种梯度攻击泄露。尽管以往基于分析的方法已成功从全连接层重建输入数据，但其在应用于卷积层时效果减弱。本文介绍了一种先进的数据泄露方法，以高效利用卷积层的梯度。我们提出了一个令人惊讶的发现：即使使用非完全可逆的激活函数（如ReLU），我们也能从梯度中分析性地重建训练样本。据我们所知，这是首个直接从梯度成功重建卷积层输入的分析方法，绕过了重建层输出的需求。先前研究主要关注卷积层的权重约束，忽视了梯度约束的重要性。我们的发现表明，现有用于估计梯度攻击风险的分析方法缺乏准确性。在某些层中，攻击可以在不到报告约束5%的条件下发起。
引用
@article{arxiv.2406.04227,
title = {R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients},
author = {Tamer Ahmed Eltaras and Qutaibah Malluhi and Alessandro Savino and Stefano Di Carlo and Adnan Qayyum and Junaid Qadir},
journal= {arXiv preprint arXiv:2406.04227},
year = {2024}
}