打破医学图像到图像翻译的困境
图像与视频处理
2021-11-12 v2 计算机视觉与模式识别
摘要
监督式 Pix2Pix 与非监督式循环一致性是主导医学图像到图像翻译领域的两种模式。然而，这两种模式都不理想。Pix2Pix 模式性能优异，但需要成对且像素级精确对齐的图像，由于采集成对图像时存在呼吸运动或解剖结构变化，这未必总能实现。循环一致性模式对训练数据要求较宽松，适用于未成对或错位图像，但其性能可能并非最优。为打破现有模式的困境，我们提出一种称为 RegGAN 的新的非监督模式用于医学图像到图像翻译。它基于“损失校正”理论。在 RegGAN 中，错位的目标图像被视为噪声标签，生成器与一个额外的配准网络一起训练，以自适应地拟合错位噪声分布。目标是寻找图像到图像翻译与配准任务的共同最优解。我们将 RegGAN 融入若干最先进的图像到图像翻译方法中，并证明 RegGAN 可轻松与这些方法结合以提升性能。例如，我们模式下的简单 CycleGAN 即使使用更少的网络参数也超越了最新的 NICEGAN。基于我们的结果，RegGAN 在对齐数据上优于 Pix2Pix，在错位或未成对数据上优于循环一致性。RegGAN 对噪声不敏感，这使其成为广泛场景的更好选择，尤其适用于无法获得像素级精确对齐数据的医学图像到图像翻译任务。
引用
@article{arxiv.2110.06465,
title = {Breaking the Dilemma of Medical Image-to-image Translation},
author = {Lingke Kong and Chenyu Lian and Detian Huang and Zhenjiang Li and Yanle Hu and Qichao Zhou},
journal= {arXiv preprint arXiv:2110.06465},
year = {2021}
}