利用联合嵌入空间进行广义零样本语义分割
计算机视觉与模式识别
2021-08-17 v1
摘要
我们解决广义零样本语义分割（GZS3）问题，即预测可见与不可见类别的像素级语义标签。大多数GZS3方法采用生成式方法，从相应的语义特征（如word2vec）合成不可见类别的视觉特征，以训练用于可见与不可见类别的新分类器。尽管生成式方法表现出不错的性能，它们有两个局限：（1）视觉特征偏向于可见类别；（2）每当出现新的不可见类别时，分类器需重新训练。我们提出一种判别式方法，在统一框架中解决这些局限。为此，我们利用视觉与语义编码器学习一个联合嵌入空间，其中语义编码器将语义特征转换为语义原型，作为相应类别视觉特征的中心。具体而言，我们引入边界感知回归（BAR）与语义一致性（SC）损失来学习判别性特征。我们利用联合嵌入空间的方法，结合BAR与SC项，缓解了可见偏置问题。在测试时，我们通过将语义原型作为最近邻（NN）分类器来避免重训练过程。为了进一步缓解偏置问题，我们还提出了一种推理技术，称为Apollonius校准（AC），其将NN分类器的决策边界自适应地调制到Apollonius圆。实验结果证明了我们框架的有效性，在标准基准上达到了新的state of the art。
引用
@article{arxiv.2108.06536,
title = {Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation},
author = {Donghyeon Baek and Youngmin Oh and Bumsub Ham},
journal= {arXiv preprint arXiv:2108.06536},
year = {2021}
}
备注
Accepted to ICCV 2021