利用主掩码提案提升无监督语义分割
计算机视觉与模式识别
2024-10-08 v2
摘要
无监督语义分割旨在通过识别图像语料库中的全局语义类别，在没有任何形式的标注下自动将图像划分为语义有意义区域。基于自监督表示学习的最新进展，我们重点关注如何将这些大型预训练模型用于无监督分割的下游任务。我们提出了 PriMaPs（Principal Mask Proposals，主掩码提案），基于图像的特征表示将其分解为语义有意义的掩码。这使我们能够通过使用随机期望最大化算法 PriMaPs-EM 将类原型拟合到 PriMaPs，从而实现无监督语义分割。尽管概念简单，PriMaPs-EM 在多种预训练骨干模型（包括 DINO 和 DINOv2）以及不同数据集（如 Cityscapes、COCO-Stuff 和 Potsdam-3）上均取得了具有竞争力的结果。重要的是，当正交应用于当前最先进的无监督语义分割流程时，PriMaPs-EM 能够提升结果。代码可在 https://github.com/visinf/primaps 获取。
引用
@article{arxiv.2404.16818,
title = {Boosting Unsupervised Semantic Segmentation with Principal Mask Proposals},
author = {Oliver Hahn and Nikita Araslanov and Simone Schaub-Meyer and Stefan Roth},
journal= {arXiv preprint arXiv:2404.16818},
year = {2024}
}
备注
Published in TMLR (September 2024) | OpenReview: see https://openreview.net/forum?id=UawaTQzfwy | Project Page: see https://visinf.github.io/primaps/ | Code: see https://github.com/visinf/primaps