基于频域引导扩散模型的零样本医学图像翻译
图像与视频处理
2023-10-31 v3 计算机视觉与模式识别
摘要
近年来，扩散模型已成为一种能够生成高质量、逼真图像的优越生成模型。然而，对于医学图像翻译，现有扩散模型在准确保留结构信息方面存在不足，因为源域图像的结构细节在正向扩散过程中丢失且无法通过学习到的反向扩散完全恢复，而解剖结构的完整性在医学图像中极为重要。例如，图像翻译中的错误可能扭曲、移位甚至移除结构与肿瘤，导致错误诊断和不当治疗。使用具有匹配解剖结构的成对源图像与目标图像训练和调节扩散模型会有所帮助。然而，此类成对数据极难且昂贵地获取，并可能降低所开发模型对分布外测试数据的鲁棒性。我们提出了一种频域引导扩散模型（FGDM），其利用频域滤波器引导扩散模型进行保留结构的图像翻译。基于其设计，FGDM 支持零样本学习，因为它可以仅在目标域数据上训练，并直接用于源到目标域的翻译，而在训练期间完全未接触源域数据。我们在三个不同解剖部位的锥束 CT（CBCT）到 CT 的翻译任务以及一个跨机构 MR 成像翻译任务上对其进行了评估。FGDM 在 Frechet Inception Distance（FID）、Peak Signal-to-Noise Ratio（PSNR）和 Structural Similarity Index Measure（SSIM）指标上优于最先进的方法（基于 GAN、基于 VAE 和基于扩散的方法），显示出其在零样本医学图像翻译中的显著优势。
引用
@article{arxiv.2304.02742,
title = {Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models},
author = {Yunxiang Li and Hua-Chieh Shao and Xiao Liang and Liyuan Chen and Ruiqi Li and Steve Jiang and Jing Wang and You Zhang},
journal= {arXiv preprint arXiv:2304.02742},
year = {2023}
}