学习基于3D空间先验的外科机器人操作

实现3D空间感知是外科机器人操作的关键因素，其中需要进行精确且灵巧的操作。现有方法要么在操作前显式重建外科场景，要么通过添加手腕式摄像头来补充默认的内窥镜立体视觉。然而，这两种方法都存在显著局限性：前者由于多阶段性质，容易导致误差累积，且无法实现端到端优化；后者在临床实践中很少被采用，因为手腕式摄像头可能会干扰外科机器人机臂的运动。本文介绍了空间外科转换器（Spatial Surgical Transformer, SST），这是一种能够赋予外科机器人3D空间感知的端到端视觉-运动策略，通过直接探索内窥镜图像中嵌入的3D空间线索。首先，我们构建了Surgical3D数据集，包含30K对带有准确3D几何信息的立体内窥镜图像对，弥补了外科场景中3D数据的稀缺问题。基于Surgical3D，我们微调了一个强大的几何转换器，从立体内窥镜图像中提取稳健的3D潜在表示。这些表示随后通过轻量级多级空间特征连接器（MSFC）在以内窥镜为中心的坐标系中无缝对齐至机器人的动作空间。广泛的实机机器人实验表明，SST在结缕和体外器官切开等复杂外科任务上实现了最佳性能和强大的空间泛化能力，标志着向实际临床部署迈出了重要一步。该数据集和代码将予以发布。