Sketch3T：面向零样本草图检索的测试时训练方法
计算机视觉与模式识别
2022-03-29 v1
摘要
零样本基于草图的图像检索（Zero-shot sketch-based image retrieval, ZS-SBIR）通常要求一个训练好的模型直接应用于未见过的类别。在本文中，我们提出质疑并论证：该设定按其定义与草图固有的抽象性和主观性不兼容，即模型可能很好地迁移到新类别，但因此无法理解存在于不同测试时分布中的草图。我们由此扩展 ZS-SBIR，要求其同时迁移到类别与草图分布。我们的关键贡献是一种仅需一张草图即可进行适应的测试时训练范式。由于没有配对的照片，我们利用草图光栅-矢量重建模块作为自监督辅助任务。为在测试时更新期间保持训练好的跨模态联合嵌入的保真度，我们设计了一种新颖的基于元学习的训练范式，以学习由该辅助任务引起的模型更新与那些来自判别学习主要目标的更新之间的分离。大量实验表明，得益于所提出的测试时适应既能迁移到新类别又能适应新草图风格，我们的模型优于当前最优方法（state-of-the-arts）。
引用
@article{arxiv.2203.14691,
title = {Sketch3T: Test-Time Training for Zero-Shot SBIR},
author = {Aneeshan Sain and Ayan Kumar Bhunia and Vaishnav Potlapalli and Pinaki Nath Chowdhury and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2203.14691},
year = {2022}
}
备注
10 pages, 5 figures. Accepted in CVPR 2022