SegPrompt：通过类别级提示学习提升开放世界分割
计算机视觉与模式识别
2023-08-15 v1
摘要
当前闭集实例分割模型在训练与评估时依赖每个掩码预定义的类标签，极大限制了其检测新颖物体的能力。开放世界实例分割（OWIS）模型以类不可知的方式检测未知对象以应对该挑战。然而，先前 OWIS 方法在训练中完全抹去类别信息以保持模型对未知对象的泛化能力。本工作中，我们提出一种称为 SegPrompt 的新型训练机制，利用类别信息提升模型对已知与未知类别的类不可知分割能力。此外，先前 OWIS 训练设置将未知类暴露于训练集并带来信息泄漏，这在现实世界中不合理。因此，我们通过将数据集类别划分为已知-已见-未见部分，提供了一个更贴近真实场景的新开放世界基准。我们首次关注模型发现从未出现在训练集图像中物体的能力。实验表明，在新基准上 SegPrompt 在不影响推理效率的情况下将总体与未见检测性能在 AR 上分别提升 5.6% 与 6.1%。我们进一步在现有跨数据集迁移与强监督设置上证明了方法的有效性，分别带来 5.5% 与 12.3% 的相对提升。
引用
@article{arxiv.2308.06531,
title = {SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning},
author = {Muzhi Zhu and Hengtao Li and Hao Chen and Chengxiang Fan and Weian Mao and Chenchen Jing and Yifan Liu and Chunhua Shen},
journal= {arXiv preprint arXiv:2308.06531},
year = {2023}
}
备注
Accepted to Proc. Int. Conf. Computer Vision (ICCV) 2023. Code is at: https://github.com/aim-uofa/SegPrompt