混合模态联邦学习用于 MRI 图像分割
计算机视觉与模式识别
2026-03-10 v2
摘要
磁共振成像（MRI）图像分割是诊断和治疗许多疾病（如脑肿瘤）的关键技术。现有的 MRI 图像分割方法主要采用集中式多模态范式，而在工程上非集中化混合模态医疗场景中无法适用。在这种情况下，每个分布式客户端（医院）处理多种混合 MRI 模态，客户端的模态集合和图像数据各不相同，存在严重的客户端级模态异质性和数据异质性。本文首先将非集中化混合模态 MRI 图像分割问题形式化为一种新的联邦学习（FL）范式，称为混合模态联邦学习（MixMFL），其区别于现有的多模态联邦学习（MulMFL）和跨模态联邦学习（CroMFL）范式。随后，我们提出了一种 novel 的模态解耦与记忆混合模态联邦学习框架（MDM-MixMFL），用于 MRI 图像分割，其特点是模态解耦策略和模态记忆机制。具体而言，模态解耦策略将每个模态解耦为模态特定信息和模态共享信息。在混合模态联邦更新期间，相应的模态编码器分别进行特定于模态和共享的更新。这有助于稳定和自适应地聚合来自分布式客户端的异构数据和模态。此外，模态记忆机制动态存储来自每个模态特定编码器的客户端共享模态原型，以补偿每个本地客户端中不完整的模态。
引用
@article{arxiv.2509.02541,
title = {Mix-modal Federated Learning for MRI Image Segmentation},
author = {Guyue Hu and Siyuan Song and Jingpeng Sun and Zhe Jin and Chenglong Li and Jin Tang},
journal= {arXiv preprint arXiv:2509.02541},
year = {2026}
}