探索 Transformer 用于开放世界实例分割
计算机视觉与模式识别
2023-08-09 v1
摘要
开放世界实例分割是一项新兴任务，旨在通过学习有限数量的基类别对象来分割图像中的所有对象。该任务具有挑战性，因为未见类别的数量可能比已见类别的数量大数百倍。近来，类 DETR 模型在封闭世界中已被广泛研究，但在开放世界中仍未被探索。在本文中，我们利用 Transformer 进行开放世界实例分割并提出 SWORD。首先，我们引入在分类头之前附加停止梯度操作，并进一步添加 IoU 头以发现新对象。我们证明简单的停止梯度操作不仅防止新对象被作为背景抑制，还使网络享有启发式标签分配的优势。其次，我们提出了一种新颖的对比学习框架以扩大对象与背景之间的表示差异。具体而言，我们维护一个通用对象队列以获取对象中心，并从对象查询中动态选择正负样本进行对比学习。先前的工作仅关注平均召回率而忽视平均精度，我们通过兼顾两项指标展示了 SWORD 的优越性。我们的模型在各种开放世界跨类别与跨数据集泛化中取得了最先进的性能。特别是在 VOC 到非 VOC 设定下，我们的方法在 ARb100 上取得了 40.0%、在 ARm100 上取得了 34.9% 的新最先进结果。对于 COCO 到 UVO 的泛化，SWORD 在 APm 上显著优于先前最佳开放世界模型 5.9%，在 ARm100 上优于 8.1%。
引用
@article{arxiv.2308.04206,
title = {Exploring Transformers for Open-world Instance Segmentation},
author = {Jiannan Wu and Yi Jiang and Bin Yan and Huchuan Lu and Zehuan Yuan and Ping Luo},
journal= {arXiv preprint arXiv:2308.04206},
year = {2023}
}
备注
Accepted by ICCV2023. 16 pages