用于机器人手术视频实时器械分割的高效全局-局部记忆
计算机视觉与模式识别
2021-09-29 v1 图像与视频处理
摘要
从视频中实时准确地分割器械对提升机器人辅助手术性能具有重要意义。我们识别出手术器械感知的两个重要线索:相邻帧的局部时间依赖性与长时程的全局语义关联。然而,多数现有工作仅使用单帧中的视觉线索进行分割。光流仅用于建模两帧间运动并带来沉重计算成本。我们提出一种新颖的双记忆网络(DMNet),明智地关联全局与局部时空知识以增强当前特征,在提升分割性能的同时保持实时预测能力。一方面,我们通过结合卷积LSTM与非局部机制在感受野上的互补优势,提出一种高效的局部记忆。另一方面,我们发展一种主动全局记忆,以将长时程中的全局语义关联聚合到当前帧,其中我们聚集源自模型不确定性与帧相似性的最具信息量的帧。我们在两个公开基准手术视频数据集上广泛验证了我们的方法。实验结果表明,我们的方法在分割精度上大幅优于最先进工作,同时保持实时速度。
引用
@article{arxiv.2109.13593,
title = {Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video},
author = {Jiacheng Wang and Yueming Jin and Liansheng Wang and Shuntian Cai and Pheng-Ann Heng and Jing Qin},
journal= {arXiv preprint arXiv:2109.13593},
year = {2021}
}