机器人辅助视网膜手术中立体视觉的自动工具标志点检测

计算机视觉与机器人技术正日益应用于医疗介入中。尤其是在需要极高精度的介入手术中，它们能够发挥关键作用。机器人辅助视网膜显微手术便是此类应用之一。在近期的工作中，此类介入手术在立体显微镜下并使用机器人控制的手术工具进行。然而，计算机视觉与机器人技术之间的互补性尚未得到充分利用。为了改进机器人控制，我们关注于利用立体显微镜进行解剖结构的三维重建与自动工具定位。在本文中，我们首次使用单一流水线解决了视网膜显微手术中的这一问题，从未标定相机出发，最终实现度量三维重建与配准。我们方法的关键要素为： 手术工具标志点检测，以及 利用检测到的标志点在立体显微镜下进行三维重建。针对前者，我们提出了一种新颖的深度学习方法，能够以高于实时的速度在高分辨率图像中检测并识别关键点。我们利用检测到的二维关键点及其从机器人传感器获得的对应三维坐标，使用仿射投影模型标定立体显微镜。我们设计了一个利用平滑度约束并执行机器人到相机配准的在线三维重建流水线。整个流水线在开天猪眼序列上进行了广泛验证。所有步骤均给出了定量与定性结果。