面向大幅错位配对的变形感知 GAN 用于医学图像合成
图像与视频处理
2024-08-20 v1 人工智能
计算机视觉与模式识别
摘要
医学图像合成生成获取成本高、有创或有害的额外成像模态，有助于促进临床工作流程。当训练配对大幅错位时（例如，因呼吸运动导致的肺 MRI-CT 配对），精确的图像合成仍然是一个关键挑战。现有工作探索了方向性配准模块来调整 GAN 中的错位；然而，大幅错位将导致 1）因对应模糊导致次优数据映射，以及 2）因形态学影响判别器而导致图像保真度下降。为应对这些挑战，我们提出了一种新型变形感知 GAN（DA-GAN），基于多目标逆一致性在图像合成过程中动态校正错位。具体而言，在生成过程中，三个层次的逆一致性协同优化对称配准和图像生成以改善对应。在对抗过程中，为进一步改善错位下的图像保真度，我们设计了变形感知判别器以将不匹配的空间形态与图像保真度判断解耦。实验结果表明，DA-GAN 在具有模拟错位的公共数据集和具有呼吸运动错位的真实肺 MRI-CT 数据集上取得了优越性能。结果表明其在放疗规划等广泛医学图像合成任务中的潜力。
引用
@article{arxiv.2408.09432,
title = {Deformation-aware GAN for Medical Image Synthesis with Substantially Misaligned Pairs},
author = {Bowen Xin and Tony Young and Claire E Wainwright and Tamara Blake and Leo Lebrat and Thomas Gaass and Thomas Benkert and Alto Stemmer and David Coman and Jason Dowling},
journal= {arXiv preprint arXiv:2408.09432},
year = {2024}
}
备注
Accepted by MIDL2024