结合几何建模的单目内窥镜场景增强尺度感知深度估计

尺度感知的单目深度估计在计算机辅助内窥镜导航中是一项重大挑战。然而，现有不考虑几何先验的深度估计方法难以从单目内窥镜序列训练中学习绝对尺度。此外，传统方法在准确估计组织和器械边界上的细节方面存在困难。本文通过提出一种仅使用单目图像结合几何建模进行深度估计的新型增强尺度感知框架来解决这些问题。具体而言，我们首先提出一种多分辨率深度融合策略以增强单目深度估计的质量。为了恢复相对深度与真实世界值之间的精确尺度，我们进一步通过基于仅图像几何基元（即器械边界和尖端）的代数几何来计算内窥镜场景中器械的3D姿态。之后，手术器械的3D姿态使得相对深度图的尺度恢复成为可能。通过耦合尺度因子与相对深度估计，可以估计单目内窥镜场景的尺度感知深度。我们在内部内窥镜手术视频和模拟数据上评估了该流程。结果表明，我们的方法可以通过几何建模学习绝对尺度，并为单目场景准确估计尺度感知深度。