面向 MRI 重建的跨模态纵向联邦学习
图像与视频处理
2023-06-06 v1 计算机视觉与模式识别
机器学习
摘要
联邦学习使多家医院能够在不泄露隐私的情况下协作学习共享模型。现有方法通常假设来自不同医院的数据具有相同的模态。然而，由于各医院成像规范可能不同，使得拥有相同模态组合的个体数量有限，这一设定在实际应用中难以完全满足。为此，我们提出了这一实用但具挑战性的跨模态纵向联邦学习任务，其中来自多家医院的形状数据具有不同模态，且仅从相同个体处收集到少量多模态数据。为应对此种情况，我们开发了一种新颖框架，即联邦一致性正则约束的特征解耦（Fed-CRFD），通过有效利用重叠样本（具有多模态的个体）并解决由不同模态引起的域偏移问题，来提升 MRI 重建效果。具体而言，我们的 Fed-CRFD 包含一种客户端内特征解耦方案，将数据解耦为模态不变特征与模态特定特征，其中模态不变特征被用于缓解域偏移问题。此外，针对重叠样本提出了一种跨客户端潜在表示一致性约束，以进一步对齐从不同模态提取的模态不变特征。因此，我们的方法能在充分利用医院多源数据的同时缓解域偏移问题。在两个典型 MRI 数据集上的大量实验表明，我们的网络明显优于当前最先进的 MRI 重建方法。本工作发表后源代码将公开。
引用
@article{arxiv.2306.02673,
title = {Cross-Modal Vertical Federated Learning for MRI Reconstruction},
author = {Yunlu Yan and Hong Wang and Yawen Huang and Nanjun He and Lei Zhu and Yuexiang Li and Yong Xu and Yefeng Zheng},
journal= {arXiv preprint arXiv:2306.02673},
year = {2023}
}
备注
12 pages, 7 figures