从餐叉到镊子：一种手术器械实例分割新框架
计算机视觉与模式识别
2023-03-14 v2 人工智能
摘要
微创手术及相关应用需要在实例级别对手术工具进行分类与分割。手术工具外观相似，且细长并以一定角度被操作。将在自然图像上训练的最先进（SOTA）实例分割模型微调用于器械分割时，难以区分器械类别。我们的研究表明，虽然边界框和分割掩码通常准确，但分类头会对手术器械的类别标签产生误分类。我们提出了一种新的神经网络框架，在现有实例分割模型上增加一个分类模块作为新阶段。该模块专门用于改进现有模型生成的器械掩码的分类。模块包含多尺度掩码注意力，关注器械区域并屏蔽分散注意力的背景特征。我们提出使用带弧损失的度量学习来训练分类器模块，以应对手术器械类间方差低的问题。我们在基准数据集 EndoVis2017 和 EndoVis2018 上进行了详尽实验。我们证明，我们的方法优于与之比较的所有（超过 18 种）SOTA 方法，并在 EndoVis2017 基准挑战上将 SOTA 性能提升至少 12 个点（20%），且能有效地跨数据集泛化。
引用
@article{arxiv.2211.16200,
title = {From Forks to Forceps: A New Framework for Instance Segmentation of Surgical Instruments},
author = {Britty Baby and Daksh Thapar and Mustafa Chasmai and Tamajit Banerjee and Kunal Dargan and Ashish Suri and Subhashis Banerjee and Chetan Arora},
journal= {arXiv preprint arXiv:2211.16200},
year = {2023}
}
备注
WACV 2023