基于物理驱动下采样核的零样本超分辨率在内窥镜显微镜中的应用
图像与视频处理
2021-03-26 v1 计算机视觉与模式识别
机器学习
摘要
得益于卷积神经网络（CNNs）的发展，超分辨率（SR）方法取得了显著进展。CNNs已成功用于改善内窥镜显微镜成像的质量。然而，内窥镜显微镜SR研究的内在局限仍在于缺乏真实高分辨率（HR）图像，这类图像通常用于监督训练以及基于参考的图像质量评估（IQA）。因此，诸如无监督SR等替代方法正在被探索。为满足非参考图像质量提升的需求，我们设计了一种新颖的零样本超分辨率（ZSSR）方法，该方法仅依赖待处理的内窥镜显微镜数据，以自监督方式进行处理，无需真实HR图像。我们通过引入以下两者使所提流程适应内窥镜显微镜的特性：一个物理驱动的Voronoi降尺度核，用于解释内窥镜显微镜基于光纤的不规则采样模式；以及真实噪声模式。我们还利用视频序列，通过一系列图像实现自监督零样本图像质量提升。我们进行了消融实验，以评估我们在降尺度核与噪声模拟方面的贡献。我们在合成数据和原始数据上验证了我们的方法。合成实验通过基于参考的IQA评估，而原始图像的结果通过由专家与非专家观察者进行的用户研究评价。结果表明，与基线方法相比，ZSSR重建在图像质量上具有更优性能。与有监督单图像SR相比，ZSSR也具有竞争力，尤其被专家首选为重建技术。
引用
@article{arxiv.2103.14015,
title = {Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy},
author = {Agnieszka Barbara Szczotka and Dzhoshkun Ismail Shakir and Matthew J. Clarkson and Stephen P. Pereira and Tom Vercauteren},
journal= {arXiv preprint arXiv:2103.14015},
year = {2021}
}