面向零样本目标检测的语义引导对比网络
计算机视觉与模式识别
2022-01-04 v2
摘要
零样本目标检测（ZSD）是将常规检测模型扩展到检测未见类别物体的任务，已成为计算机视觉中的新挑战。大多数现有方法以严格的映射-迁移策略解决 ZSD 任务，这可能导致次优的 ZSD 结果：1）这些模型的学习过程忽略了可用的未见类信息，因此容易偏向已见类别；2）原始视觉特征空间结构不佳且缺乏判别信息。为解决这些问题，我们提出了一种用于 ZSD 的新颖语义引导对比网络，名为 ContrastZSD，这是一个首次将对比学习机制引入零样本检测领域的检测框架。特别地，ContrastZSD 包含两个语义引导的对比学习子网络，分别对比区域-类别对与区域-区域对。成对对比任务利用了由地面真值标签和预定义类别相似度分布导出的额外监督信号。在这些显式语义监督的引导下，模型可以学习更多关于未见类别的知识以避免对已见概念的偏置问题，同时优化视觉特征的数据结构使其更具判别性以获得更好的视觉-语义对齐。在 ZSD 的两个流行基准（即 PASCAL VOC 和 MS COCO）上进行了大量实验。结果表明，我们的方法在 ZSD 和广义 ZSD 任务上均优于先前的最先进方法。
引用
@article{arxiv.2109.06062,
title = {Semantics-Guided Contrastive Network for Zero-Shot Object detection},
author = {Caixia Yan and Xiaojun Chang and Minnan Luo and Huan Liu and Xiaoqin Zhang and Qinghua Zheng},
journal= {arXiv preprint arXiv:2109.06062},
year = {2022}
}
备注
15 pages, Accepted