通过反演影响函数理解深度梯度泄露
机器学习
2024-01-10 v3 密码学与安全
摘要
深度梯度泄露（DGL）是一种高度有效的攻击方法，可从梯度向量中恢复私有训练图像。该攻击对具有敏感数据的客户端分布式学习提出了显著的隐私挑战，因为此类场景要求客户端共享梯度。防御此类攻击需要理解隐私泄露在何时以及如何发生，但目前缺乏这种理解，这主要归因于深度网络的黑盒特性。本文提出一种新颖的反演影响函数（IF），通过隐式求解 DGL 问题，在恢复图像与私有梯度之间建立闭式联系。与直接求解 DGL 相比，IF 可扩展用于分析深度网络，仅需对梯度和雅可比-向量积具备预言机访问权限。我们通过实验证明，IF 在不同模型架构、数据集、模态、攻击实现以及基于扰动的防御下均能有效地近似 DGL。借助这一新颖工具，我们针对有效的梯度扰动方向、隐私保护的不公平性以及偏好隐私的模型初始化提供了深入见解。我们的代码见 https://github.com/illidanlab/inversion-influence-function。
引用
@article{arxiv.2309.13016,
title = {Understanding Deep Gradient Leakage via Inversion Influence Functions},
author = {Haobo Zhang and Junyuan Hong and Yuyang Deng and Mehrdad Mahdavi and Jiayu Zhou},
journal= {arXiv preprint arXiv:2309.13016},
year = {2024}
}
备注
24 pages, 18 figures, accepted to NeurIPS2023