零样本语义分割
计算机视觉与模式识别
2019-11-19 v2
摘要
语义分割模型在扩展到大量对象类别方面能力有限。在本文中，我们引入了零样本语义分割这一新任务：以零训练样本学习从未见过的对象类别的像素级分类器。为此，我们提出了一种新颖架构 ZS3Net，将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合。通过这种方式，ZS3Net 解决了测试时同时面对已见和未见类别的像素分类任务（即所谓的“广义”零样本分类）。通过依赖于对未见类别像素进行自动伪标记的自训练步骤，性能得到进一步提升。在两个标准分割数据集 Pascal-VOC 和 Pascal-Context 上，我们提出了零样本基准并设立了具有竞争力的基线。对于 Pascal-Context 数据集中那样的复杂场景，我们通过使用图上下文编码来充分利用来自类别级分割图的空间上下文先验，从而扩展了我们的方法。
引用
@article{arxiv.1906.00817,
title = {Zero-Shot Semantic Segmentation},
author = {Maxime Bucher and Tuan-Hung Vu and Matthieu Cord and Patrick Pérez},
journal= {arXiv preprint arXiv:1906.00817},
year = {2019}
}
备注
NeurIPS 2019 (accepted)