MedPrompt:面向多任务医学图像翻译的跨模态提示
计算机视觉与模式识别
2023-10-05 v1
摘要
跨模态医学图像翻译是用于合成临床诊断中缺失模态数据的一项关键任务。然而,当前基于学习的技术在捕捉跨模态与全局特征方面存在局限,限制了它们仅适用于特定模态对。这种通用性的缺乏削弱了其实用价值,尤其考虑到不同病例缺失的模态可能不同。在本研究中,我们提出 MedPrompt,一个高效翻译不同模态的多任务框架。具体而言,我们提出自适应提示块,动态引导翻译网络朝向不同模态。在该框架内,我们引入提示提取块与提示融合块以高效编码跨模态提示。为增强跨多样模态的全局特征提取,我们引入了 Transformer 模型。涉及五个数据集与四对模态的广泛实验结果表明,我们提出的模型取得了最先进的视觉质量并展现出优异的泛化能力。
引用
@article{arxiv.2310.02663,
title = {MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation},
author = {Xuhang Chen and Chi-Man Pun and Shuqiang Wang},
journal= {arXiv preprint arXiv:2310.02663},
year = {2023}
}