面向零样本草图图像检索的对称双向知识对齐
计算机视觉与模式识别
2023-12-19 v1
摘要
本文研究了零样本草图图像检索（ZS-SBIR）问题，旨在使用来自未见类别的草图作为查询，匹配同一类别的图像。由于跨模态差异大，ZS-SBIR 仍然是一项具有挑战性的任务，并模拟了真实的零样本场景。关键在于利用预训练模型的可迁移知识来提高泛化能力。现有研究者常采用简单的微调训练策略或从固定参数的教师模型进行知识蒸馏，缺乏学生和教师模型之间同时进行高效的双向知识对齐以实现更好的泛化。本文提出了一种新颖的对称双向知识对齐方法（SBKA）用于零样本草图图像检索。设计了对称双向知识对齐学习框架，有效学习教师和学生模型之间相互丰富的判别信息，以实现知识对齐的目标。与测试阶段先前的一对一跨模态匹配不同，提出了一种一对多聚类跨模态匹配方法，利用类内图像的固有关系来减少现有模态差距的不利影响。在多个代表性 ZS-SBIR 数据集（Sketchy Ext 数据集、TU-Berlin Ext 数据集和 QuickDraw Ext 数据集）上的实验证明，所提算法能够取得优于最先进方法的性能。
引用
@article{arxiv.2312.10320,
title = {Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval},
author = {Decheng Liu and Xu Luo and Chunlei Peng and Nannan Wang and Ruimin Hu and Xinbo Gao},
journal= {arXiv preprint arXiv:2312.10320},
year = {2023}
}