利用预训练图像分类器实现基于语言的分割
计算机视觉与模式识别
2020-03-12 v3
摘要
当前的语义分割模型难以泛化到训练时未见过的新物体类别：它们需要额外的标注图像并重新训练。我们提出了一种新颖的分割模型，将视觉先验注入语义分割架构中，使其无需重新训练即可分割出新的目标标签。作为视觉先验，我们使用预训练图像分类器的激活，其提供了场景中目标物体与干扰物体的空间位置的噪声指示。我们利用语言语义来获取分类器未见过的目标标签的这些激活。进一步的实验表明，通过语言语义获得的相关物体与干扰物体的视觉先验是我们性能的关键。
引用
@article{arxiv.1911.00830,
title = {Leveraging Pretrained Image Classifiers for Language-Based Segmentation},
author = {David Golub and Ahmed El-Kishky and Roberto Martín-Martín},
journal= {arXiv preprint arXiv:1911.00830},
year = {2020}
}