从优化视角预见梯度反转的重建质量
机器学习
2023-12-21 v1 密码学与安全
计算机视觉与模式识别
摘要
在联邦学习（FL）中，当客户端与服务器共享权重更新时，梯度反转攻击可能泄露数据隐私。现有研究主要使用L2距离或余弦距离作为攻击中梯度匹配的损失函数。我们的实证研究表明，漏洞排名会随所用损失函数的变化而变化。梯度范数通常被用作梯度反转攻击的漏洞代理，但它无法解释这一现象，因为无论梯度匹配的损失函数如何，梯度范数都保持不变。本文首次提出了一种损失感知的漏洞代理（LAVP）。LAVP指的是在真实值处关于梯度匹配损失的Hessian矩阵的最大或最小特征值。这一建议基于我们对真实值附近梯度反转局部优化的理论发现，这对应于最坏情况下的攻击场景。我们在多种架构和数据集上展示了LAVP的有效性，表明其在捕获样本漏洞方面始终优于梯度范数。每个代理的性能通过相对于多个相似度得分的Spearman秩相关系数来衡量。这项工作将有助于增强FL的安全性，以应对未来除L2或余弦距离之外的任何潜在损失函数。
引用
@article{arxiv.2312.12488,
title = {Foreseeing Reconstruction Quality of Gradient Inversion: An Optimization Perspective},
author = {HyeongGwon Hong and Yooshin Cho and Hanbyel Cho and Jaesung Ahn and Junmo Kim},
journal= {arXiv preprint arXiv:2312.12488},
year = {2023}
}
备注
To appear in AAAI 2024