机器人手术中基于图结构表示的学习与推理
计算机视觉与模式识别
2020-09-14 v3 图像与视频处理
摘要
在复杂的手术环境中学习推断图表示并进行空间推理，可在机器人手术的场景理解中发挥关键作用。为此，我们开发了一种方法，用于在机器人辅助手术期间生成场景图并预测器械与手术感兴趣区域(ROI)之间的手术交互。我们设计了一个注意力链接函数，并将其与图解析网络集成以识别手术交互。为了将每个节点与相应的邻节点特征嵌入，我们进一步将 SageConv 整合到网络中。场景图生成与主动边分类主要依赖于从复杂图像表示中对节点与边特征进行嵌入或特征提取。在此，我们通过采用标签平滑加权损失实证展示了特征提取方法。平滑硬标签可避免模型的过度自信预测，并增强倒数第二层所学到的特征表示。为获取图场景标签，我们与一位经验丰富的机器人手术临床专家在 robotic scene segmentation challenge 2018 数据集上标注了边界框及器械-ROI 交互，并用其评估我们的方案。
引用
@article{arxiv.2007.03357,
title = {Learning and Reasoning with the Graph Structure Representation in Robotic Surgery},
author = {Mobarakol Islam and Lalithkumar Seenivasan and Lim Chwee Ming and Hongliang Ren},
journal= {arXiv preprint arXiv:2007.03357},
year = {2020}
}
备注
MICCAI 2020