通用跨域检索：跨类别与跨域泛化
计算机视觉与模式识别
2021-08-20 v1
摘要
本文首次研究了通用跨域检索问题，其中测试数据可能属于训练期间未见的类别或域。由于类别数量动态增加以及在实际约束下难以对每个可能域进行训练（需要大量数据），泛化到未见类别和域至关重要。为此，我们提出SnMpNet（语义邻域与混合预测网络），其引入两种新颖损失以应对测试时遇到的未见类别和域。具体而言，我们提出一种新颖的语义邻域损失，以弥合可见与未见类别间的知识鸿沟，并确保未见类别的潜空间嵌入相对于其邻域类别在语义上有意义。我们还引入基于mix-up的图像级与语义级监督，结合混合预测损失进行训练，从而在查询属于未见域时助力高效检索。这些损失被集成于SE-ResNet50骨干上以得到SnMpNet。在Sketchy Extended和DomainNet两个大规模数据集上的充分实验及与SOTA的详尽对比验证了所提模型的有效性。
引用
@article{arxiv.2108.08356,
title = {Universal Cross-Domain Retrieval: Generalizing Across Classes and Domains},
author = {Soumava Paul and Titir Dutta and Soma Biswas},
journal= {arXiv preprint arXiv:2108.08356},
year = {2021}
}
备注
Accepted at ICCV 2021. 15 pages, 6 figures