联邦学习中从局部更新恢复标签
机器学习
2024-05-03 v1 密码学与安全
摘要
梯度反演 (GI) 攻击通过旨在从通信的模型更新中重建客户端数据，对联邦学习 (FL) 中客户端的隐私构成了威胁。许多此类技术试图通过首先重建用于局部训练的样本标签来加速数据恢复。然而，现有的标签提取方法做出了通常在现实 FL 设置中不成立的强假设。在本文中，我们提出了一种新颖的标签恢复方案——从局部更新恢复标签 (RLU)，该方案在攻击未训练（最脆弱）模型时提供近乎完美的准确率。更重要的是，即使在现实的真实世界设置中，RLU 也能表现出高性能，在这些设置中，FL 系统中的客户端运行多个局部 epoch，在异构数据上进行训练，并部署各种优化器以最小化不同的目标函数。具体而言，RLU 通过求解一个最小二乘问题来估计标签，该问题源于对一轮训练中所用数据点标签与输出层由此产生的更新之间相关性的分析。在多个数据集、架构和数据异构性场景上的实验结果表明，所提方法始终优于现有基线，并有助于在 PSNR 和 LPIPS 方面提高 GI 攻击中重建图像的质量。
引用
@article{arxiv.2405.00955,
title = {Recovering Labels from Local Updates in Federated Learning},
author = {Huancheng Chen and Haris Vikalo},
journal= {arXiv preprint arXiv:2405.00955},
year = {2024}
}