用于零样本草图检索图像的分布对齐特征聚类
计算机视觉与模式识别
2023-01-18 v1
摘要
零样本基于草图的图像检索（ZS-SBIR）是一项具有挑战性的跨模态检索任务。在先前方法中，检索通过对查询草图与图库中每张图像的距离排序来完成。然而，域差距和零样本设定使神经网络难以泛化。本文从新视角应对这些挑战：利用图库图像特征。我们提出一种先聚类后检索（ClusterRetri）方法，对图库图像进行聚类并使用聚类质心作为检索代理。此外，提出一种分布对齐损失，将图像和草图特征与公共高斯分布对齐，以减小域差距。尽管简单，我们所提方法在流行数据集上大幅优于最先进方法，例如在Sketchy和TU-Berlin数据集上mAP@all的相对提升分别达31%和39%。
引用
@article{arxiv.2301.06685,
title = {Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval},
author = {Yuchen Wu and Kun Song and Fangzheng Zhao and Jiansheng Chen and Huimin Ma},
journal= {arXiv preprint arXiv:2301.06685},
year = {2023}
}