自然图像中草图引导的目标定位

我们提出了通过草图查询在自然图像中定位目标所有实例（训练时见过或未见）的新问题。我们将此问题称为草图引导的目标定位。该问题与传统的基于草图的图像检索任务有显著不同，后者的图库集通常仅包含含单个物体的图像。当我们考虑以下因素时，草图引导的目标定位更具挑战性：（i）用作查询的草图是抽象表示，关于物体形状和显著属性的信息很少；（ii）草图具有显著变异性，因为它们由多样化且未经训练的人类受试者手绘；（iii）草图查询与目标自然图像之间存在域鸿沟，因为它们来自非常不同的数据分布。为解决草图引导的目标定位问题，我们提出了一种新颖的跨模态注意力机制，引导区域提议网络（RPN）生成与草图查询相关的物体提议。这些物体提议随后针对查询进行打分以获得最终定位。我们的方法仅需单个草图查询即可生效。此外，它还能很好地泛化到训练时未见的物体类别，并有效定位图像中存在的多个物体实例。进一步地，我们利用本文提出的特征融合与注意力融合新策略，将框架扩展到多查询设定。定位性能在公开可用的物体检测基准（即MS-COCO和PASCAL-VOC）上评估，草图查询来自“Quick, Draw!”。所提方法在单查询与多查询定位任务上均显著优于相关基线。