基于伪标签与类别增强损失的零样本语义分割
计算机视觉与模式识别
2023-01-19 v1
摘要
近期的掩码提议模型显著提升了零样本语义分割的性能。然而，这些方法在训练时使用“背景”嵌入存在问题，因为所得模型往往过度学习，将全部未见类都归为背景类而非其正确标签。此外，它们忽略了文本嵌入的语义关系，而该关系在零样本预测中信息量很大，因为可见类可能与未见类有紧密关联。为此，本文提出新颖的类别增强损失，以在训练中规避背景嵌入的使用，同时通过排序相似度分数来利用文本嵌入与掩码提议之间的语义关系。为进一步捕捉可见类与未见类之间的关系，我们提出一种使用预训练视觉-语言模型的有效伪标签生成流程。在多个基准数据集上的大量实验表明，我们的方法在零样本语义分割上取得了总体最佳性能。我们的方法灵活，也可应用于更具挑战性的开放词汇语义分割问题。
引用
@article{arxiv.2301.07336,
title = {Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation},
author = {Son Duy Dao and Hengcan Shi and Dinh Phung and Jianfei Cai},
journal= {arXiv preprint arXiv:2301.07336},
year = {2023}
}