Modality Bank：在不共享医疗数据的情况下跨数据中心学习多模态图像
图像与视频处理
2022-09-13 v1 计算机视觉与模式识别
机器学习
摘要
多模态图像已被广泛使用，并为医学图像分析提供全面信息。然而，在临床环境中，于所有机构获取全部模态成本高昂且通常不可行。为利用更全面的模态信息，我们提出一种名为 ModalityBank 的隐私安全去中心化多模态自适应学习架构。我们的方法可学习一组有效的域特定调制参数，插入到通用的域无关网络中。我们证明，通过切换不同配置集合，生成器能为特定模态输出高质量图像。我们的方法还能补全所有数据中心缺失的模态，因此可用于模态补全。由合成多模态样本训练的下游任务，相比从单一真实数据中心学习可取得更高性能，并与全部真实图像相比达到接近真实的性能。
引用
@article{arxiv.2201.08955,
title = {Modality Bank: Learn multi-modality images across data centers without sharing medical data},
author = {Qi Chang and Hui Qu and Zhennan Yan and Yunhe Gao and Lohendran Baskaran and Dimitris Metaxas},
journal= {arXiv preprint arXiv:2201.08955},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2012.08604