DD-VNB：一种用于实时视觉导航支气管镜检查的基于深度的双循环框架
计算机视觉与模式识别
2025-02-12 v2
摘要
支气管镜的实时 6 DOF 定位对于提高介入治疗质量至关重要。然而，当前的基于视觉的技术难以在泛化到未见数据与计算速度之间取得平衡。在本研究中，我们提出了一种用于实时视觉导航支气管镜检查（DD-VNB）的基于深度的双循环框架，该框架无需重新训练即可在不同患者病例间泛化。DD-VNB 框架集成了两个关键模块：深度估计和双循环定位。为解决患者间的域差异，我们提出了一种知识嵌入的深度估计网络，将内窥镜帧映射为深度图，通过消除患者特异性纹理来确保泛化能力。该网络将视图合成知识嵌入到循环对抗架构中，以实现尺度约束的单目深度估计。为实现实时性能，我们的定位模块将快速自我运动估计网络嵌入到深度配准循环中。自我运动推断网络以高频率估计支气管镜的位姿变化，而针对术前 3D 模型的深度配准则周期性提供绝对位姿。具体而言，相对位姿变化作为初始猜测被输入配准过程，以提高其精度和速度。在体模和患者体内数据上的实验证明了该框架的有效性：1) 单目深度估计优于 SOTA；2) 定位精度在体模数据中达到绝对跟踪误差 (ATE) 4.7 3.17 mm，在患者数据中达到 6.49 3.88 mm；3) 帧率接近视频采集速度；4) 无需逐例重新训练网络。该框架卓越的速度和精度展示了其在实时支气管镜导航中广阔的临床潜力。
引用
@article{arxiv.2403.01683,
title = {DD-VNB: A Depth-based Dual-Loop Framework for Real-time Visually Navigated Bronchoscopy},
author = {Qingyao Tian and Huai Liao and Xinyan Huang and Jian Chen and Zihui Zhang and Bingyu Yang and Sebastien Ourselin and Hongbin Liu},
journal= {arXiv preprint arXiv:2403.01683},
year = {2025}
}