联邦学习中的模型深度泄漏
机器学习
2022-06-13 v1 人工智能
密码学与安全
摘要
分布式机器学习近年被广泛用于应对大规模复杂数据集问题。随之，分布式学习的安全性也日益受到学界与工业界关注。在此背景下，联邦学习（FL）被发展为一种“安全”的分布式学习，即在本地保留私有训练数据，仅通信公共模型梯度。然而迄今，已有多种针对该过程的梯度泄漏攻击被提出，并证明其并不安全。例如，这些攻击存在一个共同缺陷：需要过多辅助信息，如模型权重、优化器及一些超参数（如学习率），而这些在真实场景中难以获取。此外，许多现有算法避免在 FL 中传输模型梯度，转而发送模型权重，如 FedAvg，但很少有人考虑其安全漏洞。本文提出两种新框架（DLM 与 DLM+）以证明在 FL 场景下传输模型权重同样可能泄漏客户端的私有本地数据。此外，我们进行了大量实验以说明攻击框架的效果与通用性。文末我们还介绍了两种针对所提攻击的防御并评估其保护效果。综上，所提攻击与防御方案经适当定制后亦可应用于一般分布式学习场景。
引用
@article{arxiv.2206.04887,
title = {Deep Leakage from Model in Federated Learning},
author = {Zihao Zhao and Mengen Luo and Wenbo Ding},
journal= {arXiv preprint arXiv:2206.04887},
year = {2022}
}