适配SAM用于内镜黏膜下剥离术视频中的手术器械跟踪与分割
图像与视频处理
2024-08-09 v2
摘要
手术器械的精确跟踪和分割显著提高了手术效率。然而，挑战在于实现手术器械的精确分割，同时最小化手动标注的需求并减少分割过程所需的时间。为了解决这个问题，我们提出了一种新的手术器械分割和跟踪框架。具体来说，通过使用极小子集帧进行分割，我们确保了整个手术视频的精确分割。我们的方法采用两阶段方法高效地分割视频。首先，我们利用Segment-Anything (SAM)模型，该模型在EndoVis17数据集上使用低秩适应(LoRA)进行了微调。微调后的SAM模型用于准确分割视频的初始帧。随后，我们部署XMem++跟踪算法来跟踪已标注的帧，从而促进整个视频序列的分割。这个工作流程使我们能够精确地分割和跟踪视频中的对象。通过对分布内数据集(EndoVis17)和分布外数据集(EndoVis18及内镜黏膜下剥离术(ESD)数据集)的广泛评估，我们的框架展示了卓越的准确性和鲁棒性，从而展示了其在推进自动化机器人辅助手术方面的潜力。
引用
@article{arxiv.2404.10640,
title = {Adapting SAM for Surgical Instrument Tracking and Segmentation in Endoscopic Submucosal Dissection Videos},
author = {Jieming Yu and Long Bai and Guankun Wang and An Wang and Xiaoxiao Yang and Huxin Gao and Hongliang Ren},
journal= {arXiv preprint arXiv:2404.10640},
year = {2024}
}
备注
IEEE ICRA 2024 C4SR+ Workshop