基于 GAN 的临床 CT 图像利用微 CT 图像库进行超分辨的多模态损失函数
图像与视频处理
2020-04-08 v2 计算机视觉与模式识别
摘要
本文新提出一种用于基于 GAN 的超分辨的多模态损失函数，其能在临床 CT 与微 CT 体数据的非配对训练集上保持图像结构与强度。肺癌的精确无创诊断主要利用三维多探测器计算机断层扫描（CT）数据。另一方面，我们可以以 50 微米或更高分辨率获取切除肺标本的微 CT 图像。然而，微 CT 扫描无法应用于活体人成像。为从肺癌患者术前临床 CT 体数据获取如癌浸润区域等高度细节信息，将临床 CT 体数据超分辨（SR）至 CT 水平可能是一种替代方案。尽管大多数 SR 方法需要配对的低分辨率与高分辨率图像用于训练，但精确配对的临床 CT 与微 CT 体数据难以获取。我们旨在基于 CycleGAN 或 UNIT 等非配对图像翻译方法，提出利用微 CT 图像的临床 CT 非配对 SR 方法。由于临床 CT 与微 CT 在结构与强度上差异很大，直接将基于 GAN 的非配对图像翻译方法用于超分辨往往生成任意图像。为解决此问题，我们提出称为多模态损失函数的新损失函数，以在超分辨任务中保持输入图像与对应输出图像的相似性。实验结果表明，新提出的损失函数使 CycleGAN 和 UNIT 能成功将肺癌患者临床 CT 图像超分辨至微 CT 级分辨率，而原始 CycleGAN 和 UNIT 在超分辨中失败。
引用
@article{arxiv.1912.12838,
title = {Multi-modality super-resolution loss for GAN-based super-resolution of clinical CT images using micro CT image database},
author = {Tong Zheng and Hirohisa Oda and Takayasu Moriya and Shota Nakamura and Masahiro Oda and Masaki Mori and Horitsugu Takabatake and Hiroshi Natori and Kensaku Mori},
journal= {arXiv preprint arXiv:1912.12838},
year = {2020}
}
备注
6 pages, 2 figures