面向模型异构性联邦学习的特征蒸馏
机器学习
2025-10-15 v3 人工智能
摘要
模型异构性联邦学习 (Hetero-FL) 因其能够在保持私有数据本地化的同时聚合来自异构模型的知识而日益受到关注。为了更好地聚合来自各客户端的知识，集成蒸馏作为一种广泛使用且有效的技术，常在全局聚合后用于增强全局模型性能。然而，仅仅组合 Hetero-FL 和集成蒸馏并不总是产生令人满意的结果，可能导致训练过程不稳定。其原因在于现有方法主要关注逻辑蒸馏，而逻辑蒸馏虽然具有模型中性的softmax预测特性，却无法弥补因模型异构性而产生的知识偏差。为此，我们提出一种稳定高效的特征蒸馏方法，用于模型异构性联邦学习，称为 FedFD，通过正交投影来整合来自异构模型的对齐特征信息。具体而言，提出了一种新的基于特征的集成联邦知识蒸馏范式。服务器端的全局模型需要为每个客户端模型架构维护一个投影层，以单独对齐特征。采用正交技术对投影层进行重新参数化，以减轻来自异构模型的知识偏差，从而最大化蒸馏的知识。大量实验表明，FedFD 在与最先进方法相比时实现了卓越的性能。
引用
@article{arxiv.2507.10348,
title = {Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning},
author = {Yichen Li and Xiuying Wang and Wenchao Xu and Haozhao Wang and Yining Qi and Jiahua Dong and Ruixuan Li},
journal= {arXiv preprint arXiv:2507.10348},
year = {2025}
}