基于聚类距离预测的自监督学习用于手术室情境感知

语义分割和活动分类是创建能够理解和协助临床工作流程的智能手术系统的关键组成部分。在手术室中，语义分割是创建感知临床环境的机器人的核心，而活动分类旨在更高层次上理解手术室工作流程。最先进的语义分割和活动识别方法都是全监督的，这不可扩展。自监督可以减少所需标注数据的数量。我们提出了一种新的3D自监督任务，用于利用飞行时间相机捕获的手术室场景图像进行手术室场景理解。与其他专注于2D图像特征的手工前置任务的自监督方法不同，我们提出的任务包括通过利用深度图预测图像块的相对3D距离。学习3D空间上下文为我们的下游任务生成判别性特征。我们的方法在两个包含临床场景多视图数据的数据集和任务上进行了评估。我们展示了在两个任务上的显著性能提升，特别是在自监督学习效用最高的低数据量情况下。