无调参的通用监督语义分割
计算机视觉与模式识别
2024-05-24 v1
摘要
本工作提出了一种基于对 SAM 掩码通过 CLIP 分类的无调参语义分割框架，适用于各种类型的监督。初始时，我们利用 CLIP 的零样本分类能力生成伪标签或执行开放词汇分割。然而，掩码与 CLIP 文本嵌入之间的对齐不一致会导致结果次优。为解决此问题，我们提出了判别偏差对齐 CLIP（DBA-CLIP），实现掩码与文本嵌入的紧密对齐，提供了无额外开销的性能提升。随后，我们构建了全局-局部一致的分类器来分类 SAM 掩码，这揭示了由 DBA-CLIP 生成的高质量嵌入的内在结构，并显示出对噪声伪标签的鲁棒性。广泛的实验验证了我们方法的有效性和效率，我们在各种数据集和监督类型上实现了最先进（SOTA）或竞争性能。
引用
@article{arxiv.2405.14294,
title = {Tuning-free Universally-Supervised Semantic Segmentation},
author = {Xiaobo Yang and Xiaojin Gong},
journal= {arXiv preprint arXiv:2405.14294},
year = {2024}
}