基于多任务神经网络框架增强多模态 MRI 数据合成 CT 图像
图像与视频处理
2023-12-19 v2 计算机视觉与模式识别
定量方法
摘要
图像分割、实值预测和跨模态转换是医学影像中的关键挑战。在本研究中，我们提出了一种基于增强型 Transformer U-Net 架构的通用多任务神经网络框架，能够同时、选择性地和自适应地处理这些医学图像任务。我们在一个公开的人脑 MR 和 CT 图像库上进行了验证。我们将传统的合成 CT 图像问题分解为不同的子任务，包括颅骨分割、亨氏单位 (HU) 值预测和图像序列重建。为了增强框架处理多模态数据的通用性，我们通过多个图像通道扩展了模型。我们比较了从 T1 加权和 T2-Flair 图像合成的 CT 图像，从形态学和像素值两个角度评估了模型整合多模态信息的能力。
引用
@article{arxiv.2312.08343,
title = {Enhancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework},
author = {Zhuoyao Xin and Christopher Wu and Dong Liu and Chunming Gu and Jia Guo and Jun Hua},
journal= {arXiv preprint arXiv:2312.08343},
year = {2023}
}
备注
4 pages, 3 figures, 2 tables