E-DSSR:基于Transformer立体深度感知的高效动态手术场景重建
计算机视觉与模式识别
2021-07-02 v1 人工智能
摘要
从立体内镜视频中重建机器人手术场景是手术数据科学中一个重要且有前景的课题,其潜在支持许多应用,如手术视觉感知、机器人手术教育和术中情境感知。然而,当前方法大多局限于重建假设无组织形变、器械遮挡与去遮挡以及相机运动的静态解剖结构。然而,这些假设在微创机器人手术中并非总能满足。在本工作中,我们提出了一种以28 fps运行的高效动态手术场景重建流水线。具体而言,我们设计了一种基于transformer的立体深度感知用于高效深度估计,以及一个轻量级器械分割器来处理器械遮挡。此后,提出了一种可估计组织形变与相机运动并随时间聚合信息的动态重建算法用于手术场景重建。我们在两个数据集上评估了所提流水线:公开的Hamlyn Centre Endoscopic Video Dataset和我们内部的DaVinci机器人手术数据集。结果表明,我们的方法能以实时速度有效恢复被手术器械遮挡的场景并处理真实手术场景中的相机运动。
引用
@article{arxiv.2107.00229,
title = {E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception},
author = {Yonghao Long and Zhaoshuo Li and Chi Hang Yee and Chi Fai Ng and Russell H. Taylor and Mathias Unberath and Qi Dou},
journal= {arXiv preprint arXiv:2107.00229},
year = {2021}
}
备注
Accepted to MICCAI 2021