面向机器人手术中程序无关器械尖端分割的视觉-运动学图学习

手术器械尖端的准确分割是实现机器人手术下游应用（如手术技能评估、工具-组织交互与形变建模以及手术自主化）的重要任务。然而，由于手术器械尖端尺寸微小，且不同手术间场景差异显著，该任务极具挑战性。尽管基于视觉的方法已有诸多尝试，现有分割模型仍鲁棒性不足，难以实际应用。幸运的是，来自机器人系统的运动学数据可为器械位置提供可靠先验，且该先验在不同手术类型下保持一致。为利用此类多模态信息，我们提出一种新颖的视觉-运动学图学习框架，以在各种手术程序下准确分割器械尖端。具体而言，提出图学习框架从图像与运动学中编码器械部件的关系特征。接着，设计跨模态对比损失，将运动学中的鲁棒几何先验引入图像以用于尖端分割。我们在包含多种程序的私有视觉-运动学配对数据集上开展实验，即尸体上的前列腺切除术、全直肠系膜切除术、胃底折叠术和远端胃切除术，以及猪身上的远端胃切除术。留一程序交叉验证表明，我们提出的多模态分割方法显著优于当前基于图像的最优方法，Dice 系数平均超出 11.2%。