基于记忆网络实现运行时手术场景分割与手术上下文推断
计算机视觉与模式识别
2023-08-25 v1
摘要
手术上下文推断近来在机器人辅助手术中备受关注,因为它可促进工作流分析、技能评估和错误检测。然而,运行时上下文推断具有挑战性,因为它需要基于视频数据分割及时且准确地检测手术场景中工具与对象之间的交互。另一方面,现有的最先进视频分割方法往往对低频类别存在偏差,且无法为分割掩码提供时间一致性。这会对上下文推断和关键状态的准确检测产生负面影响。在本研究中,我们提出使用时空对应网络(STCN)来解决这些挑战。STCN是一种执行二值分割并最小化类别不平衡影响的记忆网络。STCN中记忆库的使用允许利用过去的图像与分割信息,从而确保掩码的一致性。我们使用公开可用的JIGSAWS数据集进行的实验表明,与最先进水平相比,STCN对难以分割的对象(如针和线)实现了更优的分割性能,并改进了上下文推断。我们还证明了分割与上下文推断可在运行时执行而不牺牲性能。
引用
@article{arxiv.2308.12789,
title = {Robotic Scene Segmentation with Memory Network for Runtime Surgical Context Inference},
author = {Zongyu Li and Ian Reyes and Homa Alemzadeh},
journal= {arXiv preprint arXiv:2308.12789},
year = {2023}
}
备注
accepted at The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2023