模态异构下无线多模态联邦学习的分析与优化
分布式、并行与集群计算
2025-09-17 v1
摘要
多模态联邦学习（MFL）是一种分布式框架，用于在不上传客户端本地多模态数据的情况下训练多模态模型，从而有效保护客户端隐私。然而，多模态数据在不同客户端之间通常是异构的，每个客户端仅拥有所有模态的一个子集，这使得单模态联邦学习中的传统分析结果和优化方法不再适用。此外，固定的延迟需求和有限的通信带宽给在无线场景中部署 MFL 带来了重大挑战。为优化模态异构下的无线 MFL 性能，本文提出了一种基于决策级融合架构并加入单模态损失函数的联合客户端调度与带宽分配（JCSBA）算法。具体而言，结合决策结果，将单模态损失函数同时添加到训练目标和本地更新损失函数中，以加速多模态收敛并提升单模态性能。为刻画 MFL 性能，我们推导了一个与客户端和模态调度相关的闭式上界，并通过 JCSBA 算法在延迟、能量和带宽约束下最小化该上界。在多模态数据集上的实验结果表明，与传统算法相比，JCSBA 算法将多模态准确率和单模态准确率分别提高了 4.06% 和 2.73%。
引用
@article{arxiv.2509.12930,
title = {Analysis and Optimization of Wireless Multimodal Federated Learning on Modal Heterogeneity},
author = {Xuefeng Han and Wen Chen and Jun Li and Ming Ding and Qingqing Wu and Kang Wei and Xiumei Deng and Yumeng Shao and Qiong Wu},
journal= {arXiv preprint arXiv:2509.12930},
year = {2025}
}