面向异构客户端的去中心化学习中的自适应蒸馏
机器学习
2020-08-19 v1 机器学习
摘要
本文解决了去中心化学习的问题，即通过让一组客户端共享用其自身数据资源预训练的本地模型来获得高性能全局模型。我们特别关注一种特定情况，即客户端模型架构和数据分布均多样化，这使得采用联邦学习和网络协同蒸馏等传统方法变得不平凡。为此，我们提出了一种称为自适应蒸馏去中心化学习（DLAD）的新去中心化学习方法。给定一组客户端模型和大量无标签蒸馏样本，所提出的 DLAD 1）聚合客户端模型的输出，同时自适应地强调那些在给定蒸馏样本中置信度更高的输出，以及 2）训练全局模型以模仿聚合后的输出。我们在多个公开数据集（MNIST、CIFAR-10 和 CINIC-10）上的广泛实验评估证明了所提方法的有效性。
引用
@article{arxiv.2008.07948,
title = {Adaptive Distillation for Decentralized Learning from Heterogeneous Clients},
author = {Jiaxin Ma and Ryo Yonetani and Zahid Iqbal},
journal= {arXiv preprint arXiv:2008.07948},
year = {2020}
}