弱监督目标定位的现实评估协议

弱监督目标定位（Weakly Supervised Object Localization, WSOL）允许仅使用全局类别级标签训练深度学习模型进行分类和定位（Localization, LOC）。训练期间缺乏边界框（bounding box, bbox）监督在文献中引发了超参数调整、模型选择和评估方面的挑战。WSOL 方法依赖于带有 bbox 标注的验证集进行模型选择，以及带有 bbox 标注的测试集进行阈值估计，以便从定位图生成 bbox。然而，这种方法与 WSOL 设置不一致，因为在现实场景中这些标注通常是不可用的。我们初步的实证分析表明，当模型选择和阈值估计分别仅依赖于类别标签和图像本身时，与使用人工 bbox 标注相比，LOC 性能显著下降。这突出了纳入 bbox 标签以实现最佳模型性能的重要性。在本文中，提出了一种新的 WSOL 评估协议，该协议无需人工 bbox 标注即可提供 LOC 信息。具体而言，我们从预训练的现成区域提议方法（如 Selective Search、CLIP 和 RPN）生成带噪伪框用于模型选择。这些 bbox 也被用于从 LOC 图中估计阈值，从而避免了对测试集 bbox 标注的需求。我们在 ILSVRC 和 CUB 数据集上对几种 WSOL 方法进行的实验表明，使用所提出的伪 bbox 进行验证促进了模型选择和阈值估计，其 LOC 性能可与在验证集上使用 GT bbox 进行选择并在测试集上进行阈值估计的性能相媲美。它也优于使用类别级标签选择的模型，以及随后仅基于 LOC 图进行动态阈值的模型。