BDA-SketRet：面向零样本草图检索的双层域适应方法
计算机视觉与模式识别
2022-01-19 v1 信息检索
机器学习
摘要
零样本基于草图的图像检索（ZS-SBIR）模型的效能受两大挑战制约。草图与图像之间巨大的分布差距需要恰当的域对齐。此外，该任务的细粒度特性以及众多类别的高类内方差，要求草图、图像与语义空间之间建立类别的判别性映射。在此前提下，我们提出 BDA-SketRet，一种新颖的 ZS-SBIR 框架，通过执行双层域适应来逐步对齐视觉数据对的空间与语义特征。为突出共享特征并削弱任何草图或图像特有伪影的影响，我们基于信息瓶颈概念提出一种新颖的对称损失函数以对齐语义特征，同时引入基于交叉熵的对抗损失来对齐空间特征图。最后，我们基于 CNN 的模型通过一种新颖的保拓扑语义投影网络证实了共享潜在空间的判别性。在扩展 Sketchy、TU-Berlin 和 QuickDraw 数据集上的实验结果表明相较已有文献有显著提升。
引用
@article{arxiv.2201.06570,
title = {BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR},
author = {Ushasi Chaudhuri and Ruchika Chavan and Biplab Banerjee and Anjan Dutta and Zeynep Akata},
journal= {arXiv preprint arXiv:2201.06570},
year = {2022}
}