基于 Transformer 模态注入器的解耦多模态脑 MR 图像转换
图像与视频处理
2024-02-02 v1 计算机视觉与模式识别
摘要
多模态磁共振成像通过分析同一受试者多模态图像之间的关系提供互补信息，在疾病诊断中发挥着至关重要的作用。然而，获取所有 MR 模态可能十分昂贵，且在扫描过程中，根据研究方案的不同，某些 MR 图像可能会缺失。典型的解决方案是利用生成对抗网络从已获取的图像中合成缺失的模态。但是，由卷积神经网络构建的 GAN 往往缺乏全局关系以及对目标模态进行条件约束的机制。为了解决这一问题，我们在本文中提出了一种基于 Transformer 的模态注入器，旨在合成多模态脑 MR 图像。在我们的方法中，我们从编码器中提取模态无关特征，然后使用模态注入器将其转换为特定模态特征。此外，该模态注入器能够捕获所有脑部结构间的长程关系，从而生成更逼真的图像。我们在 BraTS 2018 数据集上进行了实验，在四种 MR 模态之间进行转换，实验结果证明了我们提出的方法在合成质量上的优越性。此外，我们还在脑肿瘤分割任务和不同条件约束方法上进行了实验。
引用
@article{arxiv.2402.00375,
title = {Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser},
author = {Jihoon Cho and Xiaofeng Liu and Fangxu Xing and Jinsong Ouyang and Georges El Fakhri and Jinah Park and Jonghye Woo},
journal= {arXiv preprint arXiv:2402.00375},
year = {2024}
}
备注
6 pages