消解语义混淆以改进零样本检测
计算机视觉与模式识别
2022-12-13 v1
摘要
零样本检测（ZSD）是一项具有挑战性的任务，其目标是在模型未使用少数目标（“未见”）类的视觉样本进行训练的情况下，同时识别和定位物体。近来，采用 GAN 等生成模型的方法展现出了一些最佳结果：通过在已见类数据上训练的 GAN，依据语义生成未见类样本，使普通目标检测器能够识别未见物体。然而，语义混淆问题依然存在，即模型有时无法区分语义相似的类。在本工作中，我们提出训练一个结合三元组损失的生成模型，该损失考量类间相异程度并将其反映于生成样本中。此外，还施加循环一致性损失以确保类的生成视觉样本与其自身语义高度对应。在两个基准 ZSD 数据集——MSCOCO 和 PASCAL-VOC——上的大量实验表明，相较当前 ZSD 方法取得了显著增益，减少了语义混淆并改进了未见类的检测。
引用
@article{arxiv.2212.06097,
title = {Resolving Semantic Confusions for Improved Zero-Shot Detection},
author = {Sandipan Sarma and Sushil Kumar and Arijit Sur},
journal= {arXiv preprint arXiv:2212.06097},
year = {2022}
}
备注
Accepted to BMVC 2022 (Oral). 15 pages, 5 figures. Project page: https://github.com/sandipan211/ZSD-SC-Resolver