Mosaic：面向异构分布式环境的基于混合专家的无数据知识蒸馏
机器学习
2025-05-27 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种去中心化的机器学习范式，使客户端能够在保护数据隐私的同时协同训练模型。然而，模型与数据异构性的共存导致各客户端间表征不一致和优化动态发散，最终阻碍了稳健的全局性能。为克服这些挑战，我们提出了 Mosaic，一种专为异构分布式环境设计的新型无数据知识蒸馏框架。Mosaic 首先训练局部生成模型以逼近每个客户端的个性化分布，从而生成合成数据，并通过与真实数据的严格分离来保护隐私。随后，Mosaic 基于各客户端模型的专业知识构建混合专家（MoE），并利用生成的数据将其蒸馏为一个全局模型。为进一步增强 MoE 架构，Mosaic 通过在少量代表性原型上训练的轻量级元模型来整合专家预测。在标准图像分类基准上的大量实验表明，在模型和数据异构性共存的情况下，Mosaic 始终优于 SOTA 方法。源代码已发布于 https://github.com/Wings-Of-Disaster/Mosaic。
引用
@article{arxiv.2505.19699,
title = {Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments},
author = {Junming Liu and Yanting Gao and Siyuan Meng and Yifei Sun and Aoqi Wu and Yufei Jin and Yirong Chen and Ding Wang and Guosun Zeng},
journal= {arXiv preprint arXiv:2505.19699},
year = {2025}
}
备注
43 pages, 23 figures, 15 tables; the last dance