基于嵌入调制的开放词汇全景分割
计算机视觉与模式识别
2023-07-18 v2
摘要
开放词汇图像分割因其在现实世界中的关键应用而受到越来越多的关注。传统的闭词汇分割方法无法刻画新颖物体，而近期若干开放词汇尝试取得的结果不尽如人意，即在闭词汇上性能显著下降且对额外数据需求巨大。为此，我们提出 OPSNet，一个用于开放词汇全景分割的全能且数据高效的框架。具体而言，精心设计的嵌入调制模块连同若干细致组件，实现了分割模型与视觉-语言良好对齐的 CLIP 编码器之间充分的嵌入增强与信息交换，从而在开放与闭词汇设定下以少得多的额外数据需求取得优越分割性能。我们在多种数据集（如 COCO、ADE20K、Cityscapes 和 PascalContext）及各种情形下进行了广泛的实验评估，所提 OPSNet 取得了最先进结果，证明了该方法的有效性与通用性。代码与训练模型将公开提供。
引用
@article{arxiv.2303.11324,
title = {Open-vocabulary Panoptic Segmentation with Embedding Modulation},
author = {Xi Chen and Shuang Li and Ser-Nam Lim and Antonio Torralba and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2303.11324},
year = {2023}
}
备注
ICCV2023