面向微创手术腹腔镜学习型导航的立体稠密场景重建与精准定位
计算机视觉与模式识别
2022-11-29 v2 人工智能
图像与视频处理
摘要
目的：解剖信息与腹腔镜位置的计算是微创手术（MIS）中手术导航的基础环节。利用视觉线索恢复手术场景的稠密三维结构仍具挑战，且腹腔镜在线跟踪主要依赖外部传感器，增加了系统复杂度。方法：本文提出一种学习驱动的框架，可获得图像引导的腹腔镜定位及复杂解剖结构的三维重建。为重建整个手术环境的三维结构，我们首先微调一种基于学习的立体深度感知方法，该方法对无纹理及易变的软组织具有鲁棒性，用于深度估计。随后，我们开发一种稠密视觉重建算法，以 surfels 表示场景，估计腹腔镜位姿并将深度图融合至统一参考坐标系以实现组织重建。为估计新腹腔镜视角的位姿，我们实现了一种融合所重建三维模型的由粗到细定位方法。结果：我们在三个数据集上评估了重建方法与定位模块，即内镜数据的立体对应与重建（SCARED）、使用 Universal Robot（UR）与 Karl Storz 腹腔镜采集的离体体模及组织数据，以及体内 DaVinci 机器人手术数据集；重建的三维结构具有丰富的表面纹理细节，精度误差低于 1.71 mm，且定位模块仅以图像为输入即可准确跟踪腹腔镜。结论：实验结果证明了所提方法在三维解剖重建与腹腔镜定位中的优越性能。意义：所提框架有望扩展至现有手术导航系统。
引用
@article{arxiv.2110.03912,
title = {Stereo Dense Scene Reconstruction and Accurate Localization for Learning-Based Navigation of Laparoscope in Minimally Invasive Surgery},
author = {Ruofeng Wei and Bin Li and Hangjie Mo and Bo Lu and Yonghao Long and Bohan Yang and Qi Dou and Yunhui Liu and Dong Sun},
journal= {arXiv preprint arXiv:2110.03912},
year = {2022}
}