BAISeg：边界辅助的弱监督实例分割
计算机视觉与模式识别
2024-11-20 v2 图像与视频处理
摘要
如何在没有实例级监督的情况下提取实例级掩码是弱监督实例分割(WSIS)的主要挑战。流行的WSIS方法通过学习像素间关系来估计位移场(DF)，然后进行聚类以识别实例。然而，结果得到的实例质心本质上是不稳定的，并且在不同聚类算法之间差异很大。本文提出了边界辅助实例分割(Basis)，这是一种用于WSIS的新范式，通过像素级注释实现实例分割。Basis由一个实例感知边界检测(IABD)分支和一个语义分割分支组成。IABD分支通过预测类无关的实例边界来识别实例，因此与之前的DF-based方法不同。具体而言，我们在IABD分支中提出了级联融合模块(CFM)和深度互注意力(DMA)以获取丰富的上下文信息并捕获带有弱响应的实例边界。在训练阶段，我们采用像素到像素对比来增强IABD分支的判别能力。这进一步加强了实例边界的连续性和封闭性。在PASCAL VOC 2012和MS COCO上进行的大量实验表明我们方法的有效性，我们仅使用像素级注释即可获得相当好的性能。代码将在https://github.com/wsis-seg/BAISeg上提供。
引用
@article{arxiv.2406.18558,
title = {BAISeg: Boundary Assisted Weakly Supervised Instance Segmentation},
author = {Tengbo Wang and Yu Bai},
journal= {arXiv preprint arXiv:2406.18558},
year = {2024}
}