基于循环一致性的对抗训练在内窥镜显微图像无监督超分辨率中的应用
计算机视觉与模式识别
2019-02-07 v2
摘要
近年来，内窥镜显微成像越来越多地用于诊断目的和介入引导。它可为实时组织表征提供术中辅助，并有助于开展例如发现上皮癌的视觉研究。由于采集过程的物理限制，时至今日内窥镜显微图像的有效像素数仍较少，影响了其质量。后处理技术如超分辨率（SR）是提高这些图像质量的潜在方案。SR 技术常为有监督的，需要对齐的低分辨率（LR）与高分辨率（HR）图像块对来训练模型。然而，在我们的领域中，HR 图像的缺乏阻碍了此类图像对的收集，使有监督训练不适用。为此，我们提出一种基于对抗深度神经网络且带有物理启发的循环一致性的无监督 SR 框架，旨在对超分辨率图像施加某些采集特性。我们的框架可利用 HR 图像，无论其来自何种领域，将 HR 图像的质量迁移到初始 LR 图像。该特性在所有训练期间无 LR/HR 图像对可用的情形下尤为有用。我们使用来自143名患者的238个内窥镜显微视频序列的数据库进行验证，定量分析与平均意见得分（MOS）研究均证实了该流程生成令人信服的超分辨率图像的能力。
引用
@article{arxiv.1901.06988,
title = {Adversarial training with cycle consistency for unsupervised super-resolution in endomicroscopy},
author = {Daniele Ravì and Agnieszka Barbara Szczotka and Stephen P Pereira and Tom Vercauteren},
journal= {arXiv preprint arXiv:1901.06988},
year = {2019}
}
备注
Accepted for publication on Medical Image Analysis journal