人类草图能为目标检测做什么？
摘要
草图极具表现力，天然捕捉主观且细粒度的视觉线索。然而，对人类草图此类固有属性的探索仅限于图像检索。本文首次挖掘草图的表现力，用于基础视觉任务——目标检测。最终成果是一个草图驱动的目标检测框架，其基于你绘制的草图进行检测——在斑马群中检测“那匹”（例如正在吃草的）“斑马”（实例感知检测），且仅检测你想要的“部分”（例如“斑马”的“头”）（部分感知检测）。我们进一步规定模型在测试时（i）无需知晓预期类别（零样本），且（ii）不需要额外的边界框（如全监督）与类标签（如弱监督）。我们未从零设计模型，而是展示了基础模型（如 CLIP）与现有为基于草图的图像检索（SBIR）构建的草图模型之间的直观协同，其已能优雅解决该任务——CLIP 提供模型泛化能力，SBIR 弥合（草图→照片）鸿沟。具体而言，我们首先在 SBIR 模型的草图与照片分支上执行独立提示，以依托 CLIP 的泛化能力构建高度泛化的草图与照片编码器。随后设计训练范式将所学编码器适配于目标检测，使检测框的区域嵌入与 SBIR 的草图及照片嵌入对齐。在标准目标检测数据集 PASCAL-VOC 与 MS-COCO 上评估我们的框架，在零样本设定下优于监督（SOD）与弱监督目标检测器（WSOD）。项目主页：\url{https://pinakinathc.github.io/sketch-detect}
引用
@article{arxiv.2303.15149,
title = {What Can Human Sketches Do for Object Detection?},
author = {Pinaki Nath Chowdhury and Ayan Kumar Bhunia and Aneeshan Sain and Subhadeep Koley and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2303.15149},
year = {2023}
}
备注
Best Paper Finalist (Top 12 Best Papers). Presented in special single-track plenary sessions to all attendees in Computer Vision and Pattern Recognition (CVPR), 2023. Updated an error in Fig.3 (from Softmax to Cross Entropy). Thanks to the community for pointing it out