基于可用性的协作机器人辅助手术中手术指令的消歧

手术中人机协作的有效性受到语言交流固有模糊性的影响。本文提出了一种机器人手术助手框架，通过将口头指令锚定在手术区域的视觉上下文中来解释和消歧这些指令。该系统采用两级基于可用性的推理过程，首先利用多模态视觉语言模型分析手术场景，然后基于工具能力知识库对指令进行推理。为确保患者安全，采用双集共形预测方法为机器人决策提供统计上严格的置信度度量，使其能够识别并标记模糊指令。我们在来自胆囊切除术视频的模糊手术请求数据集上评估了该框架，实现了60%的总体消歧率，并提出了一种更安全的人机交互方法。