内窥镜中自监督单目深度与自运动估计：外观流来救援
计算机视觉与模式识别
2021-12-16 v1
摘要
近来，自监督学习技术已被应用于从单目视频计算深度和自运动，在自动驾驶场景中取得了卓越性能。深度与自运动自监督学习一个被广泛采用的假设是邻近帧内图像亮度保持恒定。不幸的是，内窥镜场景不满足该假设，因为数据采集过程中由光照变化、非朗伯反射和互反射引起的严重亮度波动，这些亮度波动不可避免地降低了深度和自运动估计精度。本工作中，我们引入一种称为外观流的新概念来解决亮度不一致问题。外观流考虑了亮度模式的任何变化，并使我们能够建立广义动态图像约束。此外，我们构建了一个统一的自监督框架，用于同时估计内窥镜场景中的单目深度和自运动，该框架包含结构模块、运动模块、外观模块和对应模块，以准确重建外观并校准图像亮度。在SCARED数据集和EndoSLAM数据集上进行了大量实验，所提统一框架大幅超越其他自监督方法。为验证我们的框架在不同患者和相机上的泛化能力，我们在SCARED上训练但在SERV-CT和Hamlyn数据集上不加任何微调地测试，优越结果揭示了其强大的泛化能力。代码将发布于：\url{https://github.com/ShuweiShao/AF-SfMLearner}。
引用
@article{arxiv.2112.08122,
title = {Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue},
author = {Shuwei Shao and Zhongcai Pei and Weihai Chen and Wentao Zhu and Xingming Wu and Dianmin Sun and Baochang Zhang},
journal= {arXiv preprint arXiv:2112.08122},
year = {2021}
}
备注
Accepted by Medical Image Analysis