用于手术室环境感知的机器人三维感知系统
计算机视觉与模式识别
2020-03-31 v2
摘要
目的：我们描述了一种用于 da Vinci 手术系统的三维多视角感知系统，以实现手术室（OR）场景理解与情境感知。方法：我们提出的系统由四个飞行时间（ToF）相机组成，这些相机刚性附着于 da Vinci Xi 患者侧车（PSC）上的战略位置。通过执行一次性标定流程，相机已配准至机器人的运动学链，因此来自所有相机的信息可融合并表示于一个公共坐标系下。基于该架构，我们创建了一种多视角三维场景语义分割算法，以识别 da Vinci 手术室中常见且显著的对象/设备以及手术活动。我们提出的三维语义分割方法已在一个从临床场景中采集的新颖密集标注数据集上进行了训练与验证。结果：结果表明，我们提出的架构具有可接受的配准误差（物体-相机距离的 ），并且与单视角方法相比，能稳健地改善较少出现类别的场景分割性能（平均交并比——mIOU）（）。结论：我们提出了首个具有新颖分割架构的动态多视角感知系统，其可作为手术工作流分析、手术子任务自动化以及高级引导系统等应用的基础构建技术。
引用
@article{arxiv.2003.09487,
title = {A Robotic 3D Perception System for Operating Room Environment Awareness},
author = {Zhaoshuo Li and Amirreza Shaban and Jean-Gabriel Simard and Dinesh Rabindran and Simon DiMaio and Omid Mohareri},
journal= {arXiv preprint arXiv:2003.09487},
year = {2020}
}
备注
Accepted in IPCAI 2020