PWISeg：面向手术器械的基于点的弱监督实例分割
计算机视觉与模式识别
2023-11-17 v1 人工智能
机器学习
摘要
在手术过程中，正确的器械计数至关重要。实例分割是一种定位方法，不仅定位对象的边界框，还定位每个像素的具体细节。然而，在实例分割中获取掩码级标注是劳动密集型的。为解决此问题，我们提出了一种新颖而有效的弱监督手术器械实例分割方法，称为基于点的弱监督实例分割（PWISeg）。PWISeg 采用基于 FCN 的架构，带有点到框和点到掩码分支，在 FPN 上建模特征点与边界框之间以及特征点与分割掩码之间的关系，在单一模型中联合完成器械检测与分割。由于掩码级标注在现实世界中难以获取，对于点到掩码训练，我们引入了一种无监督投影损失，利用预测掩码与边界框之间的投影关系作为监督信号。另一方面，我们将少量像素标注为每件器械的关键像素。基于此，我们进一步提出了关键像素关联损失和关键像素分布损失，驱动点到掩码分支生成更准确的分割预测。为全面评估该任务，我们发布了一个带有人工标注的新型手术器械数据集，为进一步研究建立了基准。我们的综合研究试验验证了 PWISeg 的优越性能。结果表明，手术器械分割的准确率得到提升，超越了大多数通过弱监督边界框实现的实例分割方法。这一提升在我们提出的数据集上以及应用于公开 HOSPI-Tools 数据集时均一致观察到。
引用
@article{arxiv.2311.09819,
title = {PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical Instruments},
author = {Zhen Sun and Huan Xu and Jinlin Wu and Zhen Chen and Zhen Lei and Hongbin Liu},
journal= {arXiv preprint arXiv:2311.09819},
year = {2023}
}
备注
This work has been submitted to IEEE International Symposium on Biomedical Imaging (ISBI) 2024 for possible publication