Point2Mask:基于最优传输的点监督全景分割
计算机视觉与模式识别
2023-08-04 v1
摘要
弱监督图像分割近来引起越来越多的研究关注,旨在避免昂贵的逐像素标注。本文提出一种有效的方法,称为 Point2Mask,仅使用每个目标单个随机点标注进行训练即可实现高质量全景预测。具体而言,我们将全景伪掩码生成表述为一个最优传输(OT)问题,其中每个真值(gt)点标签与像素样本分别定义为标签供应方与消费方。传输代价由引入的面向任务的地图计算,其关注不同 thing 与 stuff 目标间类别级与实例级的差异。此外,提出一种基于质心的方案来为每个 gt 点供应方设定准确单元数。因此,伪掩码生成转化为以全局最小传输代价寻找最优传输方案,可通过 Sinkhorn-Knopp 迭代求解。在 Pascal VOC 与 COCO 上的实验结果展示了我们提出的 Point2Mask 方法在点监督全景分割上的良好性能。源代码见:https://github.com/LiWentomng/Point2Mask。
引用
@article{arxiv.2308.01779,
title = {Point2Mask: Point-supervised Panoptic Segmentation via Optimal Transport},
author = {Wentong Li and Yuqian Yuan and Song Wang and Jianke Zhu and Jianshu Li and Jian Liu and Lei Zhang},
journal= {arXiv preprint arXiv:2308.01779},
year = {2023}
}
备注
14 pages, 8 figures, ICCV2023