用于机器人手术中指代视频器械分割的视频-器械协同网络
计算机视觉与模式识别
2023-08-21 v1
摘要
机器人辅助手术已取得显著进展，其中器械分割是手术干预质量的关键因素。它作为基础模块，促进手术机器人导航及面向下一代手术智能的手术教学。尽管现有方法已获得准确的器械分割结果，但它们同时对所有器械生成分割掩码，不具备指定目标对象并支持交互体验的能力。本工作探索了一项新任务——指代手术视频器械分割（RSVIS），旨在基于给定的语言表述自动识别并分割相应的手术器械。为此，我们设计了一种新颖的视频-器械协同网络（VIS-Net），以学习视频级与器械级知识来提升性能，而先前工作仅使用视频级信息。同时，我们设计了一个基于图的关系感知模块（GRM）来建模多模态信息（即文本描述与视频帧）之间的相关性，以促进器械级信息的提取。我们还首次构建了两个 RSVIS 数据集以推动相关研究。我们的方法在这些数据集上得到验证，实验结果表明 VIS-Net 可显著优于现有最先进的指代分割方法。我们的代码与数据集将在本工作发表后发布。
引用
@article{arxiv.2308.09475,
title = {Video-Instrument Synergistic Network for Referring Video Instrument Segmentation in Robotic Surgery},
author = {Hongqiu Wang and Lei Zhu and Guang Yang and Yike Guo and Shichen Zhang and Bo Xu and Yueming Jin},
journal= {arXiv preprint arXiv:2308.09475},
year = {2023}
}