面向弱纹理内窥镜图像的遮挡感知自监督单目深度估计
计算机视觉与模式识别
2025-04-25 v1
摘要
我们提出了一种针对内窥镜场景定制的自监督单目深度估计网络，旨在从单目图像中推断胃肠道的深度。现有方法虽然准确，但通常假设光照一致，而由于动态照明和胃肠道蠕动引起的遮挡，这一假设常被打破。这些变化导致错误的几何解释和不可靠的自监督信号，从而降低深度重建质量。为解决此问题，我们引入了遮挡感知自监督框架。首先，我们将遮挡掩码用于数据增强，通过模拟视点相关的遮挡场景生成伪标签。这增强了模型在部分可见性下学习鲁棒深度特征的能力。其次，我们利用非负矩阵分解引导的语义分割，聚类卷积激活以在缺乏纹理的区域生成伪标签，从而提高分割精度并减轻照明变化带来的信息损失。在 SCARED 数据集上的实验结果表明，我们的方法在自监督深度估计中达到了 SOTA 性能。此外，在 Endo-SLAM 和 SERV-CT 数据集上的评估证明了其在不同内窥镜环境中的强泛化能力。
引用
@article{arxiv.2504.17582,
title = {Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images},
author = {Zebo Huang and Yinghui Wang},
journal= {arXiv preprint arXiv:2504.17582},
year = {2025}
}