基于解耦单遍网络的开词汇语义分割
计算机视觉与模式识别
2023-08-08 v2
摘要
近来，开词汇语义分割问题引起越来越多的关注，性能最佳的方法基于双流网络：一流用于提议掩码生成，另一流使用预训练视觉-语言模型进行分割分类。然而，现有双流方法需要将大量（多达上百个）图像裁剪块送入视觉-语言模型，效率极低。为解决该问题，我们提出一种网络，对每个输入图像仅需单次通过视觉-语言模型。具体而言，我们首先提出一种称为块分离（patch severance）的新型网络适配方法，以限制预训练视觉编码器中块嵌入之间的有害干扰。随后我们提出分类锚点学习，以鼓励网络在空间上聚焦于更具判别性的分类特征。大量实验表明，所提方法取得了优异性能，超越最先进方法，同时推理速度快 4 至 7 倍。代码：https://github.com/CongHan0808/DeOP.git
引用
@article{arxiv.2304.01198,
title = {Open-Vocabulary Semantic Segmentation with Decoupled One-Pass Network},
author = {Cong Han and Yujie Zhong and Dengjie Li and Kai Han and Lin Ma},
journal= {arXiv preprint arXiv:2304.01198},
year = {2023}
}
备注
Accepted by ICCV2023