面向零样本草图基图像检索的关系感知元学习
计算机视觉与模式识别
2024-12-03 v1 人工智能
摘要
草图基图像检索（SBIR）依赖于手绘草图在同一类别内检索自然照片。然而，其实际应用受限于无法检索训练集中缺失的类别。为解决这一限制，任务演变为零样本草图基图像检索（ZS-SBIR），其中模型性能在未见类别上进行评估。传统 SBIR 主要关注缩小照片与草图模态之间的领域差距。然而，在零样本设置下，模型不仅需要解决跨模态的差异，还需要具备强大的泛化能力，以将知识传递到未见类别。为此，我们提出了一种 novel 框架用于 ZS-SBIR，该框架采用基于对的关系感知四分位损失来弥合特征差距。通过纳入来自不同模态的两个负样本，方法可防止正样本特征在一个模态上远离，同时在另一个模态上保持接近，从而增强类别间的可分性。我们还提出了关系感知元学习网络（RAMLN），以获取跨模态四分位损失的超参数——间隔，以提高模型的泛化能力。RAMLN 利用外部记忆存储特征信息，利用其为模型分配最佳间隔值。在扩展版 Sketchy 和 TU-Berlin 数据集上的实验结果显示，相较于现有 ZS-SBIR 的最先进方法，方法在 ZS-SBIR 上实现了显著提升。
引用
@article{arxiv.2412.00120,
title = {Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval},
author = {Yang Liu and Jiale Du and Xinbo Gao and Jungong Han},
journal= {arXiv preprint arXiv:2412.00120},
year = {2024}
}