ACNet:面向零样本草图图像检索的逼近与中心化网络
计算机视觉与模式识别
2023-02-28 v4
摘要
草图与照片之间的巨大领域鸿沟以及高度抽象的草图表示给基于草图的图像检索(SBIR)带来了挑战。零样本基于草图的图像检索(ZS-SBIR)更通用且更实用,但由于已见类别与未见类别之间存在额外的知识鸿沟,其挑战性更大。为同时弥合这两个鸿沟,我们提出了一种逼近与中心化网络(简称“ACNet”),以联合优化草图到照片的合成与图像检索。检索模块引导合成模块生成大量多样的类照片图像,这些图像逐渐逼近照片域,从而比以往更好地服务于检索模块,学习领域无关的表示和类别无关的通用知识,以泛化到未见类别。这些在检索引导下生成的多样图像可以有效缓解困扰具体类别特定训练样本的高梯度过拟合问题。我们还发现,使用基于代理的NormSoftmax损失在零样本设置中是有效的,因为其中心化效应可以稳定我们的联合训练并提升对未见类别的泛化能力。我们的方法简单而有效,在两个广泛使用的ZS-SBIR数据集上达到了最先进的性能,并以较大幅度超越了先前方法。
引用
@article{arxiv.2111.12757,
title = {ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Hao Ren and Ziqiang Zheng and Yang Wu and Hong Lu and Yang Yang and Ying Shan and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2111.12757},
year = {2023}
}
备注
the paper is accepted by IEEE Transactions on Circuits and Systems for Video Technology, please refer https://ieeexplore.ieee.org/document/10052737 for an updated version