基于视觉概念的自监督语义分割
计算机视觉与模式识别
2022-07-27 v2 人工智能
摘要
无监督语义分割需要在没有任何人工标注的情况下为每一个像素分配标签。尽管近期针对单张图像的自监督表示学习取得了进展，基于像素级表示的无监督语义分割仍是一项具有挑战性的任务且研究不足。本工作中，我们提出一种用于语义分割的自监督像素表示学习方法，利用从图像中提取的视觉概念（即具有语义含义的像素组，如部件、对象和场景）。为引导自监督学习，我们利用了像素与概念之间的三类关系，包括像素与局部概念之间、局部与全局概念之间以及概念共现的关系。我们在三个数据集上评估所学像素嵌入与视觉概念，包括 PASCAL VOC 2012、COCO 2017 和 DAVIS 2017。我们的结果表明，所提方法相较近期无监督语义分割方法取得一致且显著的改进，并也证明视觉概念可揭示对图像数据集的深入认识。
引用
@article{arxiv.2203.13868,
title = {Self-supervised Semantic Segmentation Grounded in Visual Concepts},
author = {Wenbin He and William Surmeier and Arvind Kumar Shekar and Liang Gou and Liu Ren},
journal= {arXiv preprint arXiv:2203.13868},
year = {2022}
}