先模仿再创造：基于共识导向生成的联邦学习
机器学习
2023-12-12 v1 计算机视觉与模式识别
摘要
在联邦学习（FL）中，数据异质性是导致模型发散并限制性能的关键瓶颈之一。为解决此问题，现有方法通常将数据异质性视为固有属性，并提议通过修正模型来减轻其不利影响。在本文中，我们试图通过生成数据来补充原始数据集，从根本上降低异质性水平，从而打破这一固有属性。作为从数据角度出发的新尝试，我们提出了基于共识导向生成的联邦学习（FedCOG）。FedCOG 在客户端包含两个关键组件：互补数据生成，它生成从共享全局模型中提取的数据来补充原始数据集；以及基于知识蒸馏的模型训练，它基于生成的数据将知识从全局模型蒸馏到本地模型，以减轻对原始异质数据集的过拟合。FedCOG 具有两个关键优势：1）它可以作为一个即插即用的模块，进一步提升大多数现有 FL 方法的性能；2）它天然兼容标准 FL 协议，如安全聚合，因为它不修改通信过程。在经典和真实世界 FL 数据集上的大量实验表明，FedCOG 始终优于最先进的方法。
引用
@article{arxiv.2312.05966,
title = {Fake It Till Make It: Federated Learning with Consensus-Oriented Generation},
author = {Rui Ye and Yaxin Du and Zhenyang Ni and Siheng Chen and Yanfeng Wang},
journal= {arXiv preprint arXiv:2312.05966},
year = {2023}
}
备注
27 pages