面向零样本实例分割的语义增强去偏与背景消歧方法
计算机视觉与模式识别
2023-05-23 v1
摘要
零样本实例分割旨在无需任何训练样本的情况下检测并精确分割未见类别的物体。由于模型在可见类别上训练，存在强偏置使模型倾向于将所有物体分类为可见类别。此外，背景与训练中从未出现的新颖物体间存在天然混淆。这两大挑战使得新颖物体难以出现在最终实例分割结果中。期望将新颖物体从背景及占主导的可见类别中解救出来。为此，我们提出 DZero，通过语义增强去偏与背景消歧来提升零样本实例分割性能。语义增强去偏利用类间语义关系将未见类别引入视觉特征训练，并学习输入条件分类器以基于输入图像进行动态分类。背景消歧生成图像自适应背景表征，以避免将新颖物体误判为背景。大量实验表明，我们以显著优势超越先前最优方法，例如在 COCO 上提升 16.86%。项目页：https://henghuiding.github.io/D2Zero/
引用
@article{arxiv.2305.13173,
title = {Semantic-Promoted Debiasing and Background Disambiguation for Zero-Shot Instance Segmentation},
author = {Shuting He and Henghui Ding and Wei Jiang},
journal= {arXiv preprint arXiv:2305.13173},
year = {2023}
}
备注
CVPR 2023