MURPHY：关系在手术工作流分析中的重要性
计算机视觉与模式识别
2022-12-27 v1
摘要
基于手术工作流中视觉与时间线索的分析，自主机器人手术已取得显著进展，但来自领域知识的关系线索仍待研究。手术标注中的复杂关系可分为 intra-relation（类内关系）与 inter-relation（类间关系），二者均有助于自主系统理解手术工作流。类内关系与类间关系分别描述特定标注类型内各类别间的相关性，以及不同标注类型间的相关性。本文旨在系统研究关系线索在手术中的重要性。首先，我们构建了RLLS12M数据集，这是一个大规模机器人左外侧区段切除术（RLLS）集合，整理了由5名外科医生操作的50名患者的50段视频，并标注了层次化工作流，包含3个类间关系与6个类内关系、6个步骤、15个任务及38个活动（表示为11种器械、8种动作和16种对象的三元组），总计2,113,510视频帧与12,681,060标注实体。相应地，我们提出了多关系净化混合网络（MURPHY），其恰当地引入新颖关系模块，利用标注中蕴含的类内与类间关系净化关系特征以增强特征表示。类内关系模块利用R-GCN将视觉特征嵌入不同图关系，并通过基于亲和度信息（衡量标签一致性与特征相似性）的针对性关系净化进行聚合。类间关系模块受注意力机制启发，基于领域知识中标注类型的层次结构来正则化关系特征的影响。在所整理的RLLS数据集上的大量实验结果证实了方法的有效性，表明关系在手术工作流分析中至关重要。
引用
@article{arxiv.2212.12719,
title = {MURPHY: Relations Matter in Surgical Workflow Analysis},
author = {Shang Zhao and Yanzhe Liu and Qiyuan Wang and Dai Sun and Rong Liu and S. Kevin Zhou},
journal= {arXiv preprint arXiv:2212.12719},
year = {2022}
}