FedMM：计算病理学中具模态异构性的联邦多模态学习
计算机视觉与模式识别
2024-02-27 v1 分布式、并行与集群计算
摘要
互补多模态信息的融合对于计算病理学中的准确诊断至关重要。然而，现有的多模态学习方法需要访问用户的原始数据，构成了重大的隐私风险。虽然联邦学习（FL）作为一种保护隐私的替代方案，但它未能解决不同医院间异构（但可能重叠）模态数据带来的挑战。为弥补这一差距，我们提出了一种联邦多模态（FedMM）学习框架，该框架通过联邦训练多个单模态特征提取器来提升后续分类性能，而非像现有 FL 那样旨在训练统一的多模态融合模型。任何参与的医院，即使数据集规模较小或设备有限，也可利用这些联邦训练的特征提取器执行本地下游任务（如分类），同时确保数据隐私。通过对两个公开数据集的综合评估，我们证明 FedMM 在准确率和 AUC 指标上显著优于两个基线方法。
引用
@article{arxiv.2402.15858,
title = {FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology},
author = {Yuanzhe Peng and Jieming Bian and Jie Xu},
journal= {arXiv preprint arXiv:2402.15858},
year = {2024}
}