从像素到块：为零样本语义分割合成上下文感知特征
计算机视觉与模式识别
2022-01-24 v4
摘要
零样本学习已针对图像分类任务被积极研究，以缓解标注图像标签的负担。有趣的是，语义分割任务需要更费力的逐像素标注，但零样本语义分割仅吸引了有限的研究兴趣。因此，我们关注零样本语义分割，其旨在仅利用为未见类别提供的类别级语义表示来分割未见物体。本文中，我们提出一种新颖的上下文感知特征生成网络（CaGNet），其可基于类别级语义表示与逐像素上下文信息，为未见类别合成上下文感知的逐像素视觉特征。合成的特征用于微调分类器以启用未见物体分割。此外，我们将逐像素特征生成与微调扩展至块级特征生成与微调，后者额外考虑像素间关系。在 Pascal-VOC、Pascal-Context 和 COCO-stuff 上的实验结果表明，我们的方法显著优于现有零样本语义分割方法。代码见 https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation。
引用
@article{arxiv.2009.12232,
title = {From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation},
author = {Zhangxuan Gu and Siyuan Zhou and Li Niu and Zihan Zhao and Liqing Zhang},
journal= {arXiv preprint arXiv:2009.12232},
year = {2022}
}
备注
accepted by TNNLS