ACSeg:面向无监督语义分割的自适应概念化方法
计算机视觉与模式识别
2023-03-31 v3
摘要
近来,自监督大规模视觉预训练模型在表示像素级语义关系方面展现出巨大潜力,显著推动了无监督稠密预测任务(例如无监督语义分割(USS))的发展。像素级表示间提取的关系通常包含丰富的类感知信息,使得表示空间中语义相同的像素嵌入聚集形成精细概念。然而,利用所学模型来确定图像中语义一致的像素组或区域并非易事,因为在不同图像的各种语义分布下,过度聚类或欠聚类会淹没概念化过程。本工作中,我们将自监督 ViT 预训练模型中的像素级语义聚合作为图像分割加以研究,并提出用于 USS 的自适应概念化方法,称为 ACSeg。具体而言,我们将概念显式编码为可学习原型,并设计自适应概念生成器(ACG),其将原型自适应映射为每幅图像的信息性概念。同时,考虑到不同图像的场景复杂性,我们提出模块度损失,基于估计属于同一概念的像素对强度来独立于概念数量优化 ACG。最后,我们将 USS 任务转化为以无监督方式对发现的概念进行分类。具有最先进结果的广泛实验证明了所提 ACSeg 的有效性。
引用
@article{arxiv.2210.05944,
title = {ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation},
author = {Kehan Li and Zhennan Wang and Zesen Cheng and Runyi Yu and Yian Zhao and Guoli Song and Chang Liu and Li Yuan and Jie Chen},
journal= {arXiv preprint arXiv:2210.05944},
year = {2023}
}