面对数据重建攻击的联邦学习防御：基于信息论的 approach
机器学习
2024-03-05 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习（Federated Learning）通过在不同客户端之间交换参数而非直接共享数据来训练黑盒且高维模型，从而缓解了机器学习中由此导致的隐私泄露问题。然而，联邦学习仍然受到成员推断攻击（MIA）或数据重建攻击（DRA）的威胁。特别是，攻击者可以通过构建数据重建攻击，从本地数据集中提取信息，而现有技术（如差分隐私）无法有效抑制这种攻击。本文旨在确保联邦学习在数据重建攻击下的强隐私保障。我们证明，数据重建攻击下的重建误差受攻击者获取信息的约束，这意味着限制传输信息可有效抑制数据重建攻击。为量化联邦学习造成的隐私泄露，我们建立了一个信道模型，该模型取决于本地数据集与多个传输参数之间联合互信息的上界。此外，信道模型表明，通过数据空间操作可以限制传输信息，这在受限信息下还能提高训练效率和模型准确性。根据信道模型，我们提出了约束单轮本地训练中传输信息的算法。通过有限的训练轮数，算法确保总传输信息量受到限制。进一步地，我们的信道模型可应用于各种隐私增强技术（如差分隐私），以增强对数据重建攻击的隐私保障。大量基于真实数据集的实验验证了我们方法的有效性。
引用
@article{arxiv.2403.01268,
title = {Defending Against Data Reconstruction Attacks in Federated Learning: An Information Theory Approach},
author = {Qi Tan and Qi Li and Yi Zhao and Zhuotao Liu and Xiaobing Guo and Ke Xu},
journal= {arXiv preprint arXiv:2403.01268},
year = {2024}
}
备注
Accepted by USENIX Security '24