面向零样本草图图像检索的模态感知三元组难样本挖掘
计算机视觉与模式识别
2021-12-17 v2
摘要
本文从跨模态度量学习的视角解决零样本草图图像检索（ZS-SBIR）问题。该任务有两个特点：1）零样本设定需要一个具有良好类内紧凑性和类间差异的度量空间，以识别新颖类别；2）草图查询与照片图库处于不同模态。度量学习视角从两方面有益于 ZS-SBIR。首先，它借助深度度量学习（DML）中近期良好实践得以改进。通过结合 DML 中两种基础学习方法（如分类训练与成对训练），我们为 ZS-SBIR 建立了强基线。无需额外技巧，该基线即取得有竞争力的检索精度。其次，它提供了一种见解：适当抑制模态鸿沟至关重要。为此，我们设计了一种名为模态感知三元组难样本挖掘（MATHM）的新方法。MATHM 通过三类成对学习增强基线，即跨模态样本对、模态内样本对及其组合。我们还设计了一种自适应加权方法，在训练过程中动态平衡这三个分量。实验结果证实，MATHM 在强基线基础上带来又一显著提升，并确立了新的最优性能。例如，在 TU-Berlin 数据集上，我们取得 47.88+2.94% mAP@all 与 58.28+2.34% Prec@100。代码将公开于：https://github.com/huangzongheng/MATHM。
引用
@article{arxiv.2112.07966,
title = {Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval},
author = {Zongheng Huang and YiFan Sun and Chuchu Han and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2112.07966},
year = {2021}
}
备注
13 pages, 7 figures