Box2Mask：基于水平集演化的框监督实例分割
计算机视觉与模式识别
2022-12-06 v1
摘要
与使用逐像素掩码标签的全监督方法不同，框监督实例分割利用简易框标注，近期吸引了日益增长的研究关注。本文提出一种新颖的单阶段实例分割方法，即 Box2Mask，其将经典水平集演化模型整合进深度神经网络学习，以仅借边界框监督实现准确掩码预测。具体而言，输入图像及其深度特征均被用于隐式演化水平集曲线，并采用基于像素亲和核的局部一致性模块挖掘局部上下文与空间关系。我们开发了两类单阶段框架，即基于 CNN 与基于 transformer 的框架，以赋能框监督实例分割的水平集演化，每类框架由三个核心组件构成：实例感知解码器、框级匹配分配与水平集演化。通过最小化水平集能量函数，各实例的掩码图可在其边界框标注内迭代优化。在涵盖通用场景、遥感、医学与场景文本图像的五个挑战性测试集上的实验结果表明，我们所提 Box2Mask 方法在框监督实例分割上的卓越性能。特别地，借助 Swin-Transformer 大骨干网络，我们的 Box2Mask 在 COCO 上取得 42.4% 掩码 AP，与近期发展的全掩码监督方法相当。代码见：https://github.com/LiWentomng/boxlevelset。
引用
@article{arxiv.2212.01579,
title = {Box2Mask: Box-supervised Instance Segmentation via Level-set Evolution},
author = {Wentong Li and Wenyu Liu and Jianke Zhu and Miaomiao Cui and Risheng Yu and Xiansheng Hua and Lei Zhang},
journal= {arXiv preprint arXiv:2212.01579},
year = {2022}
}
备注
29 pages, 7 figures, 14 tables. arXiv admin note: text overlap with arXiv:2207.09055