无监督通用图像分割
计算机视觉与模式识别
2023-12-29 v1
摘要
已有几种无监督图像分割方法被提出，消除了对密集人工标注分割掩码的需求；当前模型分别处理语义分割（例如 STEGO）或类无关实例分割（例如 CutLER），但无法同时处理两者（即全景分割）。我们提出了一种无监督通用分割模型（U2Seg），它擅长使用一种新颖的统一框架执行各种图像分割任务——实例、语义和全景分割。U2Seg 通过利用自监督模型随后进行聚类，为这些分割任务生成伪语义标签；每个聚类代表像素的不同语义和/或实例归属。随后，我们在这些伪语义标签上对模型进行自训练，相较于针对每种任务定制的专业方法，取得了显著的性能提升：在 COCO 上的无监督实例分割中，相比 CutLER 提升了 +2.6 AP；在 COCOStuff 上的无监督语义分割中，相比 STEGO 提升了 +7.0 PixelAcc。此外，我们的方法为尚未被探索过的无监督全景分割建立了新的基线。U2Seg 也是少样本分割的强预训练模型，在低数据制度（例如仅 1% 的 COCO 标签）下训练时，相比 CutLER 提升了 +5.0 AP。我们希望这种简单而有效的方法能激发更多关于无监督通用图像分割的研究。
引用
@article{arxiv.2312.17243,
title = {Unsupervised Universal Image Segmentation},
author = {Dantong Niu and Xudong Wang and Xinyang Han and Long Lian and Roei Herzig and Trevor Darrell},
journal= {arXiv preprint arXiv:2312.17243},
year = {2023}
}