基于现成视觉语言模型涌现的开放词汇语义分割
摘要
从图像-文本对中，大规模视觉语言模型（VLMs）学会将图像区域与词语隐式关联，这被证明对视觉问答等任务有效。然而，利用所学关联实现开放词汇语义分割仍具挑战。本文针对该任务提出一种简单却极为有效的无训练技术：即插即用开放词汇语义分割（PnP-OVSS）。PnP-OVSS 利用具有直接文本到图像交叉注意力及图像-文本匹配损失的 VLM。为平衡过分割与欠分割，我们引入显著性丢弃（Salience Dropout）；通过迭代丢弃模型最关注的块（patches），我们能更好地还原分割掩码的完整范围。PnP-OVSS 无需任何神经网络训练，且可在无需任何分割标注（甚至验证集）的情况下进行超参数调优。PnP-OVSS 相较可比基线取得显著提升（Pascal VOC 上 mIoU +26.2%，MS COCO 上 +20.5%，COCO Stuff 上 +3.1%，ADE20K 上 +3.0%）。我们的代码库位于 https://github.com/letitiabanana/PnP-OVSS。
引用
@article{arxiv.2311.17095,
title = {Emergent Open-Vocabulary Semantic Segmentation from Off-the-shelf Vision-Language Models},
author = {Jiayun Luo and Siddhesh Khandelwal and Leonid Sigal and Boyang Li},
journal= {arXiv preprint arXiv:2311.17095},
year = {2024}
}
备注
Accepted to CVPR 2024; Earlier version of this paper contained an unintentional error stemming from a bug in the code. This version corrects this error, which had to do with filtering of class names. In consultation with CVPR Program Chairs it was suggested errata be submitted as the updated (fixed) code reinforced original findings (albeit with slightly different final numbers)