联邦学习中隐私泄漏的量化度量
密码学与安全
2021-03-01 v1 机器学习
摘要
在联邦学习系统中，参数梯度在参与者与中央调制器之间共享，而原始数据从不离开其受保护的源域。然而，梯度本身可能携带足以精确推断原始数据的信息。通过向中央服务器上报参数梯度，客户端数据集暴露于来自对手的推断攻击之下。本文提出一种基于互信息的量化度量，供客户端评估其梯度中信息泄漏的潜在风险。近年来互信息在机器学习与数据挖掘界受到越来越多的关注。然而，现有互信息估计方法无法处理高维变量。本文提出一种新方法来近似高维梯度与批量输入数据之间的互信息。实验结果表明，所提度量能可靠反映联邦学习中的信息泄漏程度。此外，利用所提度量，我们探究了风险等级的影响因素。证明表明，信息泄漏风险与任务模型的状态以及固有数据分布均有关联。
引用
@article{arxiv.2102.13472,
title = {A Quantitative Metric for Privacy Leakage in Federated Learning},
author = {Yong Liu and Xinghua Zhu and Jianzong Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2102.13472},
year = {2021}
}
备注
Accepted to ICASSP 2021