通过特征插补网络实现缺失模态下的多模态联邦学习
机器学习
2025-05-27 v1 计算机视觉与模式识别
摘要
多模态联邦学习在无需共享原始数据的情况下，协同训练来自多个来源的模型，具有巨大潜力，可同时解决医疗保健领域的数据稀缺和隐私问题这两大关键挑战。在医疗保健领域训练多模态联邦模型的一个主要挑战是，由于临床实践差异、成本和可及性限制、回顾性数据收集、隐私问题以及偶发的技术或人为错误等多种原因，存在模态缺失。以往的方法通常依赖公开可用的真实数据集或合成数据来补偿缺失的模态。然而，为每种疾病获取真实数据集是不切实际的，而训练生成模型来合成缺失模态则计算成本高昂，且由于医疗数据的高维度而容易出错。在本文中，我们提出了一种新颖、轻量级、低维度的特征转换器，用于重建缺失模态的瓶颈特征。我们在三个不同数据集（MIMIC-CXR、NIH Open-I 和 CheXpert）上进行的实验，在齐次和非齐次设置下，均一致地提升了竞争性基线的性能。代码和实现细节可在以下链接获取：https://github.com/bhattarailab/FedFeatGen
引用
@article{arxiv.2505.20232,
title = {Multimodal Federated Learning With Missing Modalities through Feature Imputation Network},
author = {Pranav Poudel and Aavash Chhetri and Prashnna Gyawali and Georgios Leontidis and Binod Bhattarai},
journal= {arXiv preprint arXiv:2505.20232},
year = {2025}
}
备注
MIUA 2025