通过查询调制弥合目标检测与用户意图之间的鸿沟
计算机视觉与模式识别
2022-08-04 v2 人工智能
机器学习
摘要
当用户通过相机或图片与物体交互时，通常具有特定意图。例如，他们可能想执行视觉搜索。由于大多数目标检测模型仅以图像像素作为唯一输入，不期望的结果并不少见。最典型的是：在感兴趣物体上缺乏高置信度检测，或检测出错误类别标签。在设备上运行算力受限的移动目标检测器时，该问题尤为严重。本文研究调制移动检测器以显式考虑以简单查询的嵌入所表达的用户意图的技术。相比标准检测器，查询调制检测器在给定用户查询的物体检测上展现出更优性能。得益于由标准目标检测标注合成的大规模训练数据，查询调制检测器也优于专门的指代表达识别系统。查询调制检测器还可被训练为同时求解用户查询定位与标准检测，甚至在规范COCO任务上优于标准移动检测器。
引用
@article{arxiv.2106.10258,
title = {Bridging the Gap Between Object Detection and User Intent via Query-Modulation},
author = {Marco Fornoni and Chaochao Yan and Liangchen Luo and Kimberly Wilber and Alex Stark and Yin Cui and Boqing Gong and Andrew Howard},
journal= {arXiv preprint arXiv:2106.10258},
year = {2022}
}