开放世界弱监督目标定位
计算机视觉与模式识别
2023-04-20 v2
摘要
尽管弱监督目标定位（WSOL）已取得显著成功，现有框架仍无法在开放世界场景下定位新颖类别的物体。为解决此问题，我们首次提出一种称为 OWSOL（Open-World Weakly-Supervised Object Localization，开放世界弱监督目标定位）的新弱监督目标定位任务。训练期间，所有标注数据来自已知类别，而未标注数据中同时存在已知与新颖类别。为处理此类数据，我们提出一种利用标注与未标注数据进行对比表示协同学习的新范式，以生成用于目标定位的完整 G-CAM（Generalized Class Activation Map，广义类激活图），无需边界框标注。由于未标注数据无类别标签可用，我们对整个训练集进行聚类，并设计一种新的多语义质心驱动的对比损失用于表示学习。我们重新组织了两个广泛使用的数据集，即 ImageNet-1K 与 iNatLoc500，并提出 OpenImages150 作为 OWSOL 的评测基准。大量实验表明所提方法大幅超越所有基线。我们相信该工作能将闭集定位推向开放世界设定，并作为后续工作的基础。代码将发布于 https://github.com/ryylcc/OWSOL。
引用
@article{arxiv.2304.08271,
title = {Open-World Weakly-Supervised Object Localization},
author = {Jinheng Xie and Zhaochuan Luo and Yuexiang Li and Haozhe Liu and Linlin Shen and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2304.08271},
year = {2023}
}