一种高效的零样本草图图像检索框架
计算机视觉与模式识别
2021-02-09 v1
摘要
近年来，零样本草图图像检索（ZS-SBIR）因其现实应用以及比 SBIR 更真实且更具挑战性的设定而引起了计算机视觉界的关注。ZS-SBIR 继承了多个计算机视觉问题的主要挑战，包括基于内容的图像检索（CBIR）、零样本学习和域适应。以往大多数使用深度神经网络的研究通过将草图和图像投影到公共低维空间或将在见类上学到的知识迁移到未见类上，取得了改进的结果。然而，这些方法使用由多个深度卷积神经网络（CNN）组成的复杂框架进行训练，并且依赖于类别级词标签。这增加了对训练资源和数据集的要求。相比之下，我们提出了一种简单高效的框架，不需要高计算训练资源，并且可以在没有语义类别标签的数据集上训练。此外，在训练和推理阶段，我们的方法仅使用单个 CNN。在这项工作中，使用预训练的 ImageNet CNN（例如 ResNet50）通过三个提出的学习目标进行微调：域感知四元组损失、语义分类损失和语义知识保持损失。域感知四元组和语义分类损失通过将 ZS-SBIR 视为目标检测与验证问题，来学习具有判别性、语义性和域不变性的特征。
引用
@article{arxiv.2102.04016,
title = {An Efficient Framework for Zero-Shot Sketch-Based Image Retrieval},
author = {Osman Tursun and Simon Denman and Sridha Sridharan and Ethan Goan and Clinton Fookes},
journal= {arXiv preprint arXiv:2102.04016},
year = {2021}
}