通过邻域区域注意力对齐实现开放词汇目标检测
计算机视觉与模式识别
2024-05-15 v1
摘要
真实世界环境的多样性本质要求神经网络模型从封闭类别设置扩展以容纳新出现的类别。在本文中，我们研究开放词汇目标检测（OVD），它促进在仅有基类标注和开放词汇知识的监督下检测新目标类别。然而，我们发现在对齐过程中区域间邻域关系的不足不可避免地限制了近期基于蒸馏的 OVD 策略的性能。为此，我们提出邻域区域注意力对齐（NRAA），它在一组邻域区域的注意力机制内执行对齐，以促进开放词汇推理。具体而言，对于给定的候选区域，我们随机探索邻域框并执行我们提出的邻域区域注意力（NRA）机制以提取关系信息。然后，这种交互信息被无缝地引入蒸馏过程，以协助检测器和预训练视觉语言模型（VLMs）之间的对齐。大量实验验证了我们提出的模型在开放词汇基准上表现出优越的性能。
引用
@article{arxiv.2405.08593,
title = {Open-Vocabulary Object Detection via Neighboring Region Attention Alignment},
author = {Sunyuan Qiang and Xianfei Li and Yanyan Liang and Wenlong Liao and Tao He and Pai Peng},
journal= {arXiv preprint arXiv:2405.08593},
year = {2024}
}