面向细粒度时尚检索的属性引导多级注意力网络
计算机视觉与模式识别
2024-04-29 v2 人工智能
信息检索
机器学习
摘要
细粒度时尚检索旨在搜索与查询图像具有相似属性的商品。现有大多数方法使用预训练的特征提取器（如 ResNet 50）来捕获图像表示。然而，预训练的特征骨干通常针对图像分类和目标检测任务进行训练，这些任务与细粒度时尚检索有本质区别。因此，现有方法在直接使用预训练骨干进行微调时存在特征鸿沟问题。为解决该问题，我们提出了一种属性引导的多级注意力网络（AG-MAN）。具体而言，我们首先增强预训练特征提取器以捕获多级图像嵌入，从而丰富这些表示中的低级特征。然后，我们提出一种分类方案，将具有相同属性但取值不同的图像归为同一类。这可通过扰动以对象为中心的特征学习进一步缓解特征鸿沟问题。此外，我们提出一种改进的属性引导注意力模块，用于提取更准确的属性特定表示。在 FashionAI（MAP 为 62.8788%）、DeepFashion（MAP 为 8.9804%）和 Zappos50k 数据集（预测准确率为 93.32%）上的评估表明，我们的模型持续优于现有的基于注意力的方法。特别是在 FashionAI、DeepFashion 和 Zappos50k 数据集上，我们的模型分别比最典型的 ASENet_V2 模型高出 2.12%、0.31% 和 0.78% 个百分点。源代码见 https://github.com/Dr-LingXiao/AG-MAN。
引用
@article{arxiv.2301.13014,
title = {Attribute-Guided Multi-Level Attention Network for Fine-Grained Fashion Retrieval},
author = {Ling Xiao and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2301.13014},
year = {2024}
}