CAR-MFL：基于检索的跨模态数据增强用于缺失模态的多模态联邦学习
计算机视觉与模式识别
2024-07-12 v1
摘要
多模态人工智能通过利用多样化数据源进行更全面的分析，显示出优于单模态方法的优越性能。然而，在医疗保健领域应用这一有效性具有挑战性，因为公开数据集的可用性有限。联邦学习提供了一个激动人心的解决方案，允许使用来自医院和健康中心的大量数据库，而无需集中化敏感数据，从而保持隐私和安全性。然而，针对缺失模态场景的多模态联邦学习研究仍然稀少，这在医疗数据集中是常见问题，凸显了未来探索的关键领域。为此，我们提出了一种用于缺失模态的多模态联邦学习的新方法。我们的贡献在于通过检索进行跨模态数据增强，利用小型公开数据集为客户端填补缺失的模态。我们的方法以联邦方式学习参数，确保隐私保护，并在医疗领域的多个具有挑战性的多模态基准测试中提升性能，超过了多个竞争性基线。代码已公开：https://github.com/bhattarailab/CAR-MFL
引用
@article{arxiv.2407.08648,
title = {CAR-MFL: Cross-Modal Augmentation by Retrieval for Multimodal Federated Learning with Missing Modalities},
author = {Pranav Poudel and Prashant Shrestha and Sanskar Amgain and Yash Raj Shrestha and Prashnna Gyawali and Binod Bhattarai},
journal= {arXiv preprint arXiv:2407.08648},
year = {2024}
}
备注
Accepted at MICCAI 2024