弥合配对与非配对医学图像翻译之间的鸿沟
图像与视频处理
2021-10-19 v1 计算机视觉与模式识别
摘要
医学图像翻译有潜力通过免去对某些序列的采集需求来减轻成像工作负担，并降低开发机器学习方法所需的标注负担。GANs 已成功用于将图像从一域翻译至另一域，例如 MR 到 CT。目前，学习良好的翻译模型需要配对数据（配准的 MR 与 CT 图像）或额外监督（如分割掩码）。对多模态进行配准或对各模态内结构进行标注是一项繁琐费力的任务。因此，有必要针对非配对数据开发改进的翻译方法。在此，我们引入改进的 pix2pix 模型用于 CT→MR 与 MR→CT 任务，以非配对 CT 与 MR 数据以及由 MR 扫描生成的 MRCAT 配对进行训练。所提出的改进利用配对的 MR 与 MRCAT 图像确保输入与翻译图像间良好对齐，并利用非配对 CT 图像确保 MR→CT 模型生成逼真外观的 CT，且 CT→MR 模型能以真实 CT 作为输入良好工作。所提出的 pix2pix 变体在 FID 与 KID 指标上优于基线 pix2pix、pix2pixHD 与 CycleGAN，并生成更逼真的 CT 与 MR 翻译结果。
引用
@article{arxiv.2110.08407,
title = {Bridging the gap between paired and unpaired medical image translation},
author = {Pauliina Paavilainen and Saad Ullah Akram and Juho Kannala},
journal= {arXiv preprint arXiv:2110.08407},
year = {2021}
}
备注
Deep Generative Models for MICCAI (DGM4MICCAI) workshop 2021