面向即时细粒度草图图像检索的多粒度关联学习框架
计算机视觉与模式识别
2022-01-14 v1
摘要
细粒度草图图像检索（FG-SBIR）解决的是在给定查询草图中检索特定照片的问题。然而，其广泛适用性受限于大多数人难以绘制完整草图、且绘制过程往往耗时的事实。在本研究中，我们旨在以尽可能少的笔画（不完整草图）检索目标照片，称为即时 FG-SBIR（Bhunia et al. 2020），其在绘制一开始便对每一笔画进行检索。我们认为每幅照片的草图绘制片段中这些不完整草图之间存在显著关联。为学习照片与其不完整草图之间更高效的联合嵌入空间，我们提出了一种多粒度关联学习框架，进一步优化所有不完整草图的嵌入空间。具体而言，基于草图的完整度，我们可以将一个完整草图片段划分为若干阶段，每阶段对应一个简单的线性映射层。此外，我们的框架引导当前草图的向量空间表示逼近其后续草图的表示，以实现较少笔画草图的检索性能接近较多笔画草图。实验中，我们提出了更真实的挑战，且我们的方法在两个公开细粒度草图检索数据集上相较 SOTA 方法与替代基线取得了更优的早期检索效率。
引用
@article{arxiv.2201.05007,
title = {Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval},
author = {Dawei Dai and Xiaoyu Tang and Shuyin Xia and Yingge Liu and Guoyin Wang and Zizhong Chen},
journal= {arXiv preprint arXiv:2201.05007},
year = {2022}
}
备注
17 pages, 9 figures