面向零样本标注目标检测的高效特征蒸馏
计算机视觉与模式识别
2023-11-03 v4
摘要
我们提出了一种用于检测未见物体的新设定，称为零样本标注目标检测（ZAD）。它扩展了零样本目标检测设定，允许新类别物体存在于训练图像中，并将检测器使用的额外信息限制为新类别名称。近来，为检测未见物体，不同方法利用了大规模视觉-语言模型（如 CLIP）。基于蒸馏的方法总体性能良好，但受两方面因素导致的长训练周期所困扰。首先，已有工作创建的蒸馏区域偏向于基类别，限制了新类别信息的蒸馏。其次，直接利用 CLIP 的原始特征进行蒸馏忽视了 CLIP 训练数据与检测数据集之间的域差距，使得从图像区域到视觉-语言特征空间的映射难以学习。为解决这些问题，我们提出了面向零样本标注目标检测的高效特征蒸馏（EZAD）。首先，EZAD 通过重新归一化 CLIP 将其特征空间适配到目标检测域；其次，EZAD 利用 CLIP 结合潜在新类别名称生成蒸馏提议，以避免蒸馏过度偏向基类别。最后，EZAD 利用语义信息进行回归以进一步提升模型性能。结果表明，EZAD 在 COCO 上以更短得多的训练周期比先前的基于蒸馏的方法高出 4%，并在 LVIS 数据集上取得 3% 的提升。我们的代码见 https://github.com/dragonlzm/EZAD
引用
@article{arxiv.2303.12145,
title = {Efficient Feature Distillation for Zero-shot Annotation Object Detection},
author = {Zhuoming Liu and Xuefeng Hu and Ram Nevatia},
journal= {arXiv preprint arXiv:2303.12145},
year = {2023}
}
备注
WACV2024 accepted paper