基于多粒度对齐的时尚图像检索
计算机视觉与模式识别
2023-03-09 v4
摘要
时尚图像检索任务旨在从图库中搜索查询图像相关的服装物品。以往的方案侧重于设计不同的基于距离的损失函数，将相关图像对拉近、将不相关图像推远。然而，这些方法忽略了服装图像的细粒度特征（例如领口、袖口）。本文提出一种利用全局与细粒度特征的新型时尚图像检索方法，称为多粒度对齐（MGA）。具体而言，我们设计了细粒度聚合器（FGA）来捕获并聚合细节纹理；随后提出基于注意力的令牌对齐（ATA），以由粗到细的方式在多粒度层面对图像特征进行对齐。为验证所提方法的有效性，我们在公开时尚数据集 DeepFashion 的两个子任务（In-Shop 与 Consumer2Shop）上进行了实验。实验结果表明，在 R@1 指标上，我们的 MGA 分别在两个子任务中比当前最优（SOTA）方法高出 1.8% 和 0.6%。
引用
@article{arxiv.2302.08902,
title = {Fashion Image Retrieval with Multi-Granular Alignment},
author = {Jinkuan Zhu and Hao Huang and Qiao Deng and Xiyao Li},
journal= {arXiv preprint arXiv:2302.08902},
year = {2023}
}