面向少标签草图-照片检索的实例级异质域自适应
计算机视觉与模式识别
2022-12-07 v2 机器学习
摘要
尽管草图到照片检索具有广泛应用，但获取成对且富标签的真值代价高昂。不同的是，照片检索数据更易获取。因此，先前工作先在富标签照片检索数据（即源域）上预训练模型，再在少标签草图到照片检索数据（即目标域）上微调。然而，若不协同训练源域与目标域数据，源域知识可能在微调过程中被遗忘，而简单协同训练可能因域差异导致负迁移。此外，源数据与目标数据的身份标签空间通常互不相交，因此常规的类别级域自适应（DA）无法直接适用。为解决这些问题，我们提出实例级异质域自适应（IHDA）框架。我们采用微调策略进行身份标签学习，旨在以归纳迁移方式迁移实例级知识。同时，选取源数据中的带标签属性构成源域与目标域的共享标签空间。在共享属性引导下，利用DA弥合跨数据集域差异与异质域差异，以直推迁移方式迁移实例级知识。实验表明，我们的方法在三个草图到照片图像检索基准上无需额外标注即刷新了最先进水平，这为在少标签异质图像检索任务上训练更有效模型开辟了道路。相关代码见 https://github.com/fandulu/IHDA。
引用
@article{arxiv.2211.14515,
title = {Instance-level Heterogeneous Domain Adaptation for Limited-labeled Sketch-to-Photo Retrieval},
author = {Fan Yang and Yang Wu and Zheng Wang and Xiang Li and Sakriani Sakti and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2211.14515},
year = {2022}
}