基于块对齐对比学习的开放词汇语义分割
计算机视觉与模式识别
2022-12-12 v1
摘要
我们提出块对齐对比学习（PACL），一种针对 CLIP 对比损失的改进兼容性函数，旨在训练视觉编码器块 token 与文本编码器 CLS token 之间的对齐。借助这种对齐，模型可识别图像中与给定文本输入对应的区域，从而在无训练分割标注的情况下无缝迁移至开放词汇语义分割任务。使用预训练 CLIP 编码器配合 PACL，我们能在 4 个不同分割基准（Pascal VOC、Pascal Context、COCO Stuff 和 ADE20K）的开放词汇零样本分割任务上达到最优性能。此外，我们表明 PACL 也适用于图像级预测，当与 CLIP 主干结合时，在 12 个图像分类数据集上相比 CLIP 零样本分类精度有普遍提升。
引用
@article{arxiv.2212.04994,
title = {Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning},
author = {Jishnu Mukhoti and Tsung-Yu Lin and Omid Poursaeed and Rui Wang and Ashish Shah and Philip H. S. Torr and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2212.04994},
year = {2022}
}