4D-OR：用于手术室领域建模的语义场景图

外科手术在高度复杂的手术室（OR）中进行，包含不同的参与者、设备与交互。迄今为止，只有受过医学训练的人类专家能够理解如此严苛环境中的所有联系与交互。本文旨在使社区向自动化、整体性与语义性的 OR 领域理解与建模更近一步。为此，我们首次提出使用语义场景图（SSG）来描述与总结手术场景。场景图的节点表示房间中的不同参与者与物体，如医护人员、患者与医疗设备，而边表示它们之间的关系。为验证所提表示的可能性，我们创建了首个公开可用的 4D 手术 SSG 数据集 4D-OR，包含十台模拟全膝关节置换手术，在真实 OR 模拟中心由六个 RGB-D 传感器记录。4D-OR 包含 6734 帧，并用 SSG、人与物体姿态以及临床角色进行了丰富标注。我们提出一个端到端基于神经网络的 SSG 生成流水线，取得 0.75 的宏 F1 成功率，确实能够推断 OR 中的语义推理。我们通过使用该场景图解决临床角色预测问题进一步展示了我们场景图的表示能力，取得了 0.85 的宏 F1。代码与数据集将在录用后公开。