无需像素级对齐数据的可靠多模态医学图像图像间翻译

当前主流的多模态医学图像图像间翻译方法面临矛盾。具有卓越性能的监督方法依赖于像素级对齐的训练数据以约束模型优化。然而，获取像素级对齐的多模态医学图像数据集具有挑战性。无监督方法可以在没有配对数据的情况下进行训练，但其可靠性无法得到保证。目前尚无理想的多模态医学图像图像间翻译方法能够在无需像素级对齐数据的情况下生成可靠的翻译结果。本工作旨在开发一种独立于像素级对齐数据的医学图像图像间翻译模型（MITIA），以实现无对齐训练数据下的可靠多模态医学图像图像间翻译。所提出的 MITIA 模型利用由多模态医学图像配准模块和多模态错位误差检测模块组成的先验提取网络，从训练数据中尽可能提取像素级先验信息。提取的先验信息然后用于构建正则化项，以约束无监督循环一致 GAN 模型的优化，从而限制其解的空间，进而提高生成器的性能和可靠性。我们使用包含不同错位误差的六个数据集和两个良好对齐的数据集训练了 MITIA 模型。随后，我们将所提方法与另外六个最先进的图像间翻译方法进行比较。定量分析和定性视觉检查的结果表明，MITIA 在对齐数据和错位数据上均优于竞争的最先进方法。