一种用于修复内窥镜镜面高光的时间学习方法及其对图像对应性的影响
计算机视觉与模式识别
2022-04-01 v1
摘要
视频流被广泛用于指导多种微创手术和诊断操作，并已开发许多计算机辅助技术来自动分析这些视频。这些方法可为外科医生提供额外信息，如病灶检测、器械导航或解剖结构三维形状建模。然而，由于存在镜面高光反射等不规则光模式，识别这些模式所需的图像特征并非总能可靠检测。本文旨在利用机器学习去除内窥镜视频中的镜面高光。我们提出使用时间生成对抗网络（GAN）来修复镜面高光下被遮挡的解剖结构，从其空间位置及邻近未在同位置出现高光的帧中推断其外观。该方法在胃内窥镜体内数据（Hyper-Kvasir）上以完全无监督方式实现，仅依赖镜面高光的自动检测。系统评估通过直接对比传统方法以及通过消融实验对比其他机器学习技术，显示了显著改进，消融实验表明了网络时间组件与迁移学习组件的重要性。我们还在胃内窥镜体内数据与离体猪数据（SERV-CT、SCARED）上定性评估了系统对不同手术设置与操作的一般化能力。我们还评估了该方法对支撑三维重建与相机运动估计的计算机视觉任务的影响，即立体视差、光流与稀疏点特征匹配。这些任务在定量与定性上进行了评估，结果在一新颖综合分析中显示了镜面高光修复对这些任务的积极作用。
引用
@article{arxiv.2203.17013,
title = {A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence},
author = {Rema Daher and Francisco Vasconcelos and Danail Stoyanov},
journal= {arXiv preprint arXiv:2203.17013},
year = {2022}
}