严重模态缺失下基于跨模态原型的联邦多模态学习
机器学习
2025-03-07 v2
摘要
多模态联邦学习（MFL）作为一种去中心化的机器学习范式应运而生，允许具有不同模态的多个客户端在不共享私有数据的情况下，跨多样化数据源协作训练全局模型。然而，数据异构性和严重模态缺失等挑战对 MFL 的鲁棒性构成了关键阻碍，显著影响了全局模型的性能。在自动驾驶等实际应用中，模态缺失往往由传感器故障等因素引起，导致训练过程中出现知识缺口。具体而言，模态的缺失会在本地训练阶段引入不对齐问题，这源于模态缺失客户端采用的零填充处理。因此，实现全局模型的鲁棒泛化变得至关重要，尤其是在处理数据不完整的客户端时。本文提出了一种针对严重模态缺失情况下 MFL 的新方法：**多模态联邦跨原型学习（MFCPL）**。我们的 MFCPL 利用完整原型，通过跨模态正则化在模态共享层面提供多样化的模态知识，并通过跨模态对比机制在模态特定层面提供知识。此外，我们的方法引入了跨模态对齐，为模态特定特征提供正则化，从而提升整体性能，特别是在涉及严重模态缺失的场景中。通过在三个多模态数据集上的大量实验，我们证明了 MFCPL 在缓解数据异构性和严重模态缺失挑战方面的有效性，同时提高了 MFL 的整体性能和鲁棒性。
引用
@article{arxiv.2401.13898,
title = {Cross-Modal Prototype based Multimodal Federated Learning under Severely Missing Modality},
author = {Huy Q. Le and Chu Myaet Thwal and Yu Qiao and Ye Lin Tun and Minh N. H. Nguyen and Eui-Nam Huh and Choong Seon Hong},
journal= {arXiv preprint arXiv:2401.13898},
year = {2025}
}
备注
14 pages, 8 figures, 11 tables