用于机器人手术中可变形组织立体 3D 重建的神经渲染
计算机视觉与模式识别
2022-07-01 v1
摘要
从内镜立体视频中重建机器人手术中的软组织，对术中导航与图像引导的机器人手术自动化等诸多应用十分重要。此前该任务的工作主要依赖基于 SLAM 的方法，难以处理复杂手术场景。受神经渲染近期进展启发，我们提出一种新颖框架，在单视点设定下从机器人手术的双目捕获中重建可变形组织。我们的框架采用动态神经辐射场以 MLP 表示可变形手术场景，并以基于学习的方式优化形状与形变。除非刚性形变外，器械遮挡与单视点下贫乏的 3D 线索也是软组织重建中的特有挑战。为克服这些困难，我们提出一系列策略：器械掩码引导的光线投射、立体深度线索光线步进与立体深度监督优化。在 DaVinci 机器人手术视频上的实验表明，我们的方法在处理各类复杂非刚性形变时显著优于当前最先进的重建方法。据我们所知，这是首项利用神经渲染进行手术场景 3D 重建的工作，并展现出显著潜力。代码见：https://github.com/med-air/EndoNeRF。
引用
@article{arxiv.2206.15255,
title = {Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery},
author = {Yuehao Wang and Yonghao Long and Siu Hin Fan and Qi Dou},
journal= {arXiv preprint arXiv:2206.15255},
year = {2022}
}
备注
11 pages, 4 figures, conference