面向不完整多模态 MRI 重建的联邦伪模态生成
图像与视频处理
2023-08-23 v1 人工智能
计算机视觉与模式识别
摘要
尽管多模态学习已广泛用于 MRI 重建，但其依赖于配对多模态数据，而在真实临床场景中难以获取。尤其在联邦设置下，常见情况是若干医疗机构仅拥有单模态数据，即所谓的模态缺失问题。因此，在此类条件下部署标准联邦学习框架不可行。本文提出一种新颖的通信高效联邦学习框架，即 Fed-PMG，以解决联邦多模态 MRI 重建中的模态缺失挑战。具体而言，我们利用伪模态生成机制，通过共享频域中幅度谱的分布信息，为每个单模态客户端恢复缺失模态。然而，共享原始幅度谱的步骤会导致沉重的通信开销。为降低通信成本，我们引入聚类方案将幅度谱集合投影至有限聚类质心，并在客户端间共享。借助这一精心设计，我们的方法能在可接受的通信成本内有效补全缺失模态。大量实验表明，所提方法可达到与理想情形（即所有客户端均拥有完整模态集）相近的性能。源代码将公开。
引用
@article{arxiv.2308.10910,
title = {Federated Pseudo Modality Generation for Incomplete Multi-Modal MRI Reconstruction},
author = {Yunlu Yan and Chun-Mei Feng and Yuexiang Li and Rick Siow Mong Goh and Lei Zhu},
journal= {arXiv preprint arXiv:2308.10910},
year = {2023}
}
备注
10 pages, 5 figures,