面向零样本草图图像检索的语义感知知识保留
计算机视觉与模式识别
2019-10-01 v3
摘要
草图图像检索（SBIR）被广泛认为是一个重要的视觉问题，具有广泛的现实应用。近来，研究兴趣集中于在更真实且具挑战性的零样本学习设定下解决该问题。本文从域适应的视角探究此问题，并表明其对改进零样本场景中的特征嵌入至关重要。基于以 ImageNet 上预训练模型为起点并在 SBIR 基准训练集上微调的框架，我们主张保留先前习得知识（例如从 ImageNet 学到的丰富判别特征）以提升模型迁移能力的重要性。为此，我们设计了一种名为语义感知知识保留（SAKE）的方法，以经济方式微调预训练模型，并利用语义信息（如类间关系）实现知识保留目标。在 TU-Berlin 与 Sketchy 两个扩展 SBIR 数据集上的零样本实验验证了本方法的优越性能。大量诊断实验证实，保留的知识有益于零样本设定下的 SBIR，因性能提升的很大一部分来自对照片图像更恰当结构化的特征嵌入。代码见：https://github.com/qliu24/SAKE。
引用
@article{arxiv.1904.03208,
title = {Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval},
author = {Qing Liu and Lingxi Xie and Huiyu Wang and Alan Yuille},
journal= {arXiv preprint arXiv:1904.03208},
year = {2019}
}
备注
To appear in ICCV 2019