利用基础模型进行多模态联邦学习：处理模态缺失情况

联邦学习（FL）在为分布式数据孤岛提供隐私保障的协同训练解决方案方面取得了显著进展。然而，现有工作鲜有探索客户端持有多数据模态的更真实场景。在本文中，我们致力于解决多模态联邦学习（MFL）中的新挑战——模态缺失，客户端在本地数据集中可能丢失部分模态。为此，我们提出一种新型多模态联邦学习方法：基于Kolmogorov-Arnold网络的联邦多模态对比训练（FedMVP），该方法整合大规模预训练模型以增强联邦训练。在FedMVP框架中，每个客户端部署具有冻结参数的大规模预训练模型，用于模态补全和表示知识迁移，实现高效稳健的本地训练。在服务端，我们利用生成数据统一衡量上传客户端模型的表示相似性，并从图的角度依据其在系统中的重要性进行聚合。我们在两个真实世界的图像-文本分类数据集上Demonstrate，该模型在处理模态缺失导致的性能下降方面具有鲁棒性。