用于弱监督物体定位的空间感知令牌
计算机视觉与模式识别
2023-08-10 v2
摘要
弱监督物体定位（WSOL）是一项极具挑战性的任务，旨在仅利用图像级监督定位物体。近期工作将视觉 transformer 应用于 WSOL，并借助自注意力机制中的长距离特征依赖取得了显著成功。然而，现有基于 transformer 的方法将分类特征图合成为定位图，导致分类与定位任务间的优化冲突。为解决该问题，我们提出以弱监督方式学习一个任务特定的空间感知令牌（SAT）来调节定位。具体而言，首先在输入空间中引入空间令牌以聚合定位任务的表示；随后构建空间感知注意力模块，使空间令牌通过查询生成不同图像块的前景概率，并从分类任务中提取定位知识。此外，针对由图像级标签获得的稀疏且不平衡的像素级监督问题，设计了批量面积损失与归一化损失两种空间约束以补偿并增强该监督。实验表明，所提 SAT 在 CUB-200 与 ImageNet 上分别取得 98.45% 与 73.13% GT-known Loc 的 SOTA 性能。即使在每类仅用 ImageNet 中 1 张图像训练的极端设定下，SAT 也已超越 SOTA 方法 2.1% GT-known Loc。代码与模型见 https://github.com/wpy1999/SAT。
引用
@article{arxiv.2303.10438,
title = {Spatial-Aware Token for Weakly Supervised Object Localization},
author = {Pingyu Wu and Wei Zhai and Yang Cao and Jiebo Luo and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2303.10438},
year = {2023}
}
备注
Accepted by ICCV 2023. Code:https://github.com/wpy1999/SAT