FedAUX：在联邦学习中利用无标签辅助数据
机器学习
2021-02-05 v1 分布式、并行与集群计算
机器学习
摘要
联邦蒸馏(FD)是一种流行的联邦学习新算法范式，其训练性能可与先前基于参数平均的方法相竞争，同时允许客户端训练不同的模型架构，方法是将客户端在无标签辅助数据集上的预测蒸馏到一个学生模型中。本文中我们提出FedAUX，作为FD的扩展，在同一组假设下，通过从无标签辅助数据中获取最大效用而大幅改进性能。FedAUX以两种方式修改FD训练过程：首先，在辅助数据上进行无监督预训练，为分布式训练寻找模型初始化；其次，使用-差分隐私置信度评分，根据每个客户端模型的置信度对辅助数据上的集成预测进行加权。在大规模卷积神经网络和transformer模型上的实验表明，FedAUX的训练性能在iid和非iid两种情形下均大幅超过SOTA FL基线方法，进一步缩小了与集中式训练性能的差距。代码可在github.com/fedl-repo/fedaux获取。
引用
@article{arxiv.2102.02514,
title = {FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning},
author = {Felix Sattler and Tim Korjakow and Roman Rischke and Wojciech Samek},
journal= {arXiv preprint arXiv:2102.02514},
year = {2021}
}