Meta-ZSDETR：基于元学习的零样本 DETR
计算机视觉与模式识别
2023-08-21 v1 人工智能
摘要
零样本目标检测旨在定位并识别未见类别的物体。现有工作大多面临两个问题：RPN 在未见类别上的低召回率，以及未见类别与背景的混淆。本文提出首个结合 DETR 与元学习进行零样本目标检测的方法，称为 Meta-ZSDETR，其模型训练被形式化为基于独立片段的元学习任务。与基于 Faster R-CNN 的方法先生成类无关候选框、再通过视觉-语义对齐模块分类不同，Meta-ZSDETR 直接使用类特定查询预测类特定边界框，并利用分类头预测的准确度进一步过滤。模型通过元对比学习进行优化，包含用于生成类特定边界框坐标的回归头、预测生成框准确度的分类头，以及利用所提对比-重建损失在视觉空间中进一步分离不同类别的对比头。我们在 MS COCO 与 PASCAL VOC 两个基准数据集上进行了充分实验。实验结果表明，我们的方法大幅优于现有 ZSD 方法。
引用
@article{arxiv.2308.09540,
title = {Meta-ZSDETR: Zero-shot DETR with Meta-learning},
author = {Lu Zhang and Chenbo Zhang and Jiajia Zhao and Jihong Guan and Shuigeng Zhou},
journal= {arXiv preprint arXiv:2308.09540},
year = {2023}
}
备注
Accepted in ICCV 2023