定位无穷形鱼类：野外草图引导的目标定位
计算机视觉与模式识别
2021-09-27 v1 图形学
摘要
本工作研究草图引导的目标定位（SGOL）问题，其中使用人类草图作为查询在自然图像中进行目标定位。在这一跨模态设定下，我们首先贡献了一个难以被击败的基线，该基线无需任何特定的SGOL训练即可在一组固定类别上超越先前工作。该基线有助于基于现有简单而强大的方法分析SGOL方法的性能。我们通过提出一种草图条件的DETR（DEtection TRansformer）架构来推进现有技术，其避免了硬分类并缓解了草图与图像之间的域差距以定位目标实例。尽管SGOL的主要目标聚焦于目标检测，我们探索了其向草图引导实例分割的自然扩展。这一新任务允许迈向在像素级别识别目标，这在若干应用中至关重要。我们通过实验证明，我们的模型及其变体显著推进了先前的SOTA结果。我们模型的全部训练与测试代码将被发布以促进未来研究{{https://github.com/priba/sgol_wild}}。
引用
@article{arxiv.2109.11874,
title = {Localizing Infinity-shaped fishes: Sketch-guided object localization in the wild},
author = {Pau Riba and Sounak Dey and Ali Furkan Biten and Josep Llados},
journal= {arXiv preprint arXiv:2109.11874},
year = {2021}
}
备注
Under Review