一种用于单目内窥镜深度估计的几何感知深度网络
计算机视觉与模式识别
2023-04-21 v1
摘要
单目深度估计对于内窥镜医生执行手术部位的空间感知和3D导航至关重要。然而，大多数现有方法忽略了重要的几何结构一致性，这不可避免地导致性能下降和3D重建失真。为解决此问题，我们引入梯度损失以惩罚阶梯状边缘结构周围模糊的边缘波动，以及法向损失以显式表达对频繁小结构的敏感性，并提出几何一致性损失以将空间信息跨越样本网格传播，从而约束全局几何解剖结构。此外，我们构建了一个合成RGB-深度数据集，其在反射和光照变化下捕获解剖结构。所提方法在不同数据集和临床图像上进行了广泛验证，并在EndoSLAM数据集上取得了0.066（胃）、0.029（小肠）和0.139（结肠）的平均RMSE值。所提方法的泛化性在ColonDepth数据集上取得了12.604（T1-L1）、9.930（T2-L2）和13.893（T3-L3）的平均RMSE值。实验结果表明，我们的方法超越了先前最先进的竞争对手，并生成更一致的深度图和合理的解剖结构。所提方法从内窥镜视频中进行术中3D结构感知的质量满足内窥镜导航的视频-CT配准算法的精度要求。数据集和源代码将发布于https://github.com/YYM-SIA/LINGMI-MR。
引用
@article{arxiv.2304.10241,
title = {A geometry-aware deep network for depth estimation in monocular endoscopy},
author = {Yongming Yang and Shuwei Shao and Tao Yang and Peng Wang and Zhuo Yang and Chengdong Wu and Hao Liu},
journal= {arXiv preprint arXiv:2304.10241},
year = {2023}
}