通信高效的多模态联邦学习：联合模态与客户端选择
机器学习
2026-03-12 v2 分布式、并行与集群计算
摘要
多模态联邦学习 (MFL) 旨在丰富联邦学习设置下的模型训练，其中客户端收集跨多种模态的测量数据。然而，MFL 的关键挑战仍未得到解决，特别是在异构网络设置中，其中：(i) 每个客户端收集的模态集合是多样的，并且 (ii) 通信限制阻止客户端将其所有本地训练的模态编码器上传到服务器。在本文中，我们提出了多模态联邦学习与联合模态和客户端选择 (MFedMC)，这是一个通信高效的 MFL 框架，通过解耦架构和选择性上传来应对这些挑战。与传统的整体融合方法不同，MFedMC 将模态编码器和融合模块分开：模态编码器在服务器端聚合，以泛化到不同的客户端分布，而融合模块保留在每个客户端本地，以适应个体模态配置和数据特征的个性化适应。基于这种解耦设计，我们的联合选择算法包含两个主要组成部分：(a) 每个客户端的模态选择方法，该方法权衡 (i) 模态的影响（通过 Shapley 值分析衡量），(ii) 作为通信开销衡量标准的模态编码器大小，以及 (iii) 模态编码器更新的频率（称为新近度），以增强泛化能力。(b) 基于每个客户端模态编码器本地损失的服务器端客户端选择策略。在五个真实世界数据集上的实验表明，MFedMC 在实现与多个基线相当的准确性的同时，将通信开销减少了超过 20 倍。演示视频和我们的代码可在 https://liangqiy.com/mfedmc/ 获取。
引用
@article{arxiv.2401.16685,
title = {Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection},
author = {Liangqi Yuan and Dong-Jun Han and Su Wang and Devesh Upadhyay and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2401.16685},
year = {2026}
}
备注
arXiv admin note: text overlap with arXiv:2310.07048