FedAUXfdp：差分隐私的一次性联邦蒸馏
机器学习
2022-06-22 v2 分布式、并行与集群计算
摘要
当本地数据集为非独立同分布（non-iid）时，即各客户端数据分布异构时，联邦学习表现不佳。应对该挑战的一个有前景的方法是近期提出的FedAUX，它将联邦蒸馏进行增强，即便在高度异构的客户端数据上也能获得稳健结果。FedAUX是一种部分(ε, δ)-差分隐私方法，因为客户端私有数据仅在其参与的训练的一部分中受到保护。本工作贡献了一种完全差分隐私的改进，称为FedAUXfdp。我们进一步给出了正则化多项逻辑回归的l_2敏感度上界。在大规模图像数据集上使用深度网络的实验中，具有强差分隐私保证的FedAUXfdp在仅一轮通信下，于非iid客户端数据上的表现显著优于其他同等隐私化的SOTA基线。该改进方法的完全隐私化在所有数据异构程度上均导致可忽略的精度下降。
引用
@article{arxiv.2205.14960,
title = {FedAUXfdp: Differentially Private One-Shot Federated Distillation},
author = {Haley Hoech and Roman Rischke and Karsten Müller and Wojciech Samek},
journal= {arXiv preprint arXiv:2205.14960},
year = {2022}
}