FedZKT：面向资源受限且设备端模型异构的联邦学习的零样本知识迁移
机器学习
2022-04-07 v2 机器学习
摘要
联邦学习使多个分布式设备能够在不集中其设备端数据的情况下协作学习一个共享预测模型。当前大多数算法要求各设备以相同结构和规模的设备端模型进行本地训练，投入相当的个人努力，但这阻碍了资源受限设备的参与。鉴于当今设备广泛存在且异构，本文提出了一种创新的联邦学习框架，通过零样本知识迁移（Zero-shot Knowledge Transfer）实现异构设备端模型，命名为 FedZKT。具体而言，FedZKT 允许设备根据其本地资源独立决定设备端模型。为实现跨这些异构设备端模型的知识迁移，设计了一种零样本蒸馏方法，无需任何私有设备端数据的先决条件，这与某些基于公共数据集或预训练数据生成器的先前研究相反。此外，这一计算密集型的蒸馏任务被分配给服务器，以允许资源受限设备的参与，其中通过收集到的设备端模型集合以对抗方式学习一个生成器。蒸馏后的中心知识随后以相应设备端模型参数的形式发回，可在设备端轻松吸收。广泛的实验研究证明了 FedZKT 在设备端知识不可知、设备端模型异构以及其他具有挑战性的联邦学习场景（如异构设备端数据和落后节点效应）中的有效性和鲁棒性。
引用
@article{arxiv.2109.03775,
title = {FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models},
author = {Lan Zhang and Dapeng Wu and Xiaoyong Yuan},
journal= {arXiv preprint arXiv:2109.03775},
year = {2022}
}
备注
This paper has been accepted to ICDCS 2022