OVLW-DETR：面向开放词汇的轻量级检测变换器
计算机视觉与模式识别
2024-07-16 v1
摘要
开放词汇目标检测侧重于由自然语言引导检测新类别。在本报告中，我们提出 Open-Vocabulary Light-Weighted Detection Transformer (OVLW-DETR)，一种兼具强大性能与低延迟的部署友好型开放词汇检测器。基于 OVLW-DETR，我们提供了一种将知识从视觉语言模型 (VLM) 迁移到目标检测器的简单对齐训练配方。我们通过替换检测器中固定的分类层权重为从文本编码器中提取的类别名称嵌入来实现对齐。无需额外融合模块，OVLW-DETR 灵活且部署友好，便于实现与调控。实验结果表明，所提出的方法在标准的 Zero-Shot LVIS 基准上优于现有的实时开放词汇检测器。源码与预训练模型已发布于 https://github.com/Atten4Vis/LW-DETR。
引用
@article{arxiv.2407.10655,
title = {OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer},
author = {Yu Wang and Xiangbo Su and Qiang Chen and Xinyu Zhang and Teng Xi and Kun Yao and Errui Ding and Gang Zhang and Jingdong Wang},
journal= {arXiv preprint arXiv:2407.10655},
year = {2024}
}
备注
4 pages