异构联邦学习中特征与 logits 的利用
机器学习
2025-04-09 v2
摘要
由于物联网与人工智能的快速增长，在物联网设备上部署神经网络对边缘智能愈发关键。联邦学习（FL）便于管理边缘设备协作训练共享模型，同时保持训练数据本地与私密。然而，FL 中的一个普遍假设是所有边缘设备在同一机器学习模型上训练，考虑到设备能力多样，这可能不切实际。例如，能力较弱的设备可能因难以处理适合普通设备的大模型而拖慢更新过程。本文提出一种新颖的支持异构客户端模型的无数据 FL 方法，通过管理特征与 logits 实现，称为 Felo；及其在服务器端部署条件 VAE 的扩展，称为 Velo。Felo 在服务器端基于类标签对来自客户端的中层特征与 logits 取平均，以提供平均特征与 logits，用于进一步训练客户端模型。与 Felo 不同，Velo 中服务器具有条件 VAE，用于训练中层特征并根据标签生成合成特征。客户端基于合成特征与平均 logits 优化其模型。我们在两个数据集上实验，并显示我们的方法相较最先进方法具有令人满意的性能。
引用
@article{arxiv.2210.15527,
title = {Exploiting Features and Logits in Heterogeneous Federated Learning},
author = {Yun-Hin Chan and Edith C. -H. Ngai},
journal= {arXiv preprint arXiv:2210.15527},
year = {2025}
}
备注
Accepted by Computer Networks