通过原型掩码与对比处理缺失模态的多模态联邦学习
机器学习
2024-02-06 v2 人工智能
分布式、并行与集群计算
摘要
在现实世界场景中，多模态联邦学习常面临复杂的模态缺失这一实际挑战，这对构建联邦框架构成了约束，并显著降低了模型推理精度。现有的解决模态缺失的方案通常涉及在客户端开发特定模态的编码器并在服务器端训练模态融合模块。然而，这些方法主要局限于单模态客户端或完整多模态客户端的特定场景，难以在复杂的模态缺失场景中有效泛化。在本文中，我们将原型库引入基于 FedAvg 的联邦学习框架，从而使该框架具备缓解训练和测试期间因模态缺失导致的全球模型性能下降的能力。所提出的方法利用原型作为代表缺失模态的掩码，以制定任务校准的训练损失和模型无关的单模态推理策略。此外，构建了基于原型的近端项以增强本地训练。实验结果表明，我们的方法达到了最先进的性能。与基线相比，我们的方法在训练期间缺失模态时将推理精度提高了，在单模态推理期间提高了。代码地址：https://github.com/BaoGuangYin/PmcmFL。
引用
@article{arxiv.2312.13508,
title = {Multimodal Federated Learning with Missing Modality via Prototype Mask and Contrast},
author = {Guangyin Bao and Qi Zhang and Duoqian Miao and Zixuan Gong and Liang Hu and Ke Liu and Yang Liu and Chongyang Shi},
journal= {arXiv preprint arXiv:2312.13508},
year = {2024}
}
备注
23 pages