面向基于语言的产品图像检索的层次化相似度学习
计算机视觉与模式识别
2021-02-19 v1 信息检索
多媒体
摘要
本文致力于基于语言的产品图像检索任务。以往多数工作通过设计网络结构、相似度度量和损失函数取得了显著进展。然而，它们通常在特定粒度上执行视觉-文本匹配，而忽略了图像固有的多粒度特性。本文关注跨模态相似度度量，提出一种新颖的层次化相似度学习（HSL）网络。HSL 首先通过堆叠编码器学习输入数据的多层次表示，并在每一层计算对象粒度相似度与图像粒度相似度。所有相似度被组合为最终的层次化跨模态相似度。在大规模产品检索数据集上的实验证明了我们所提方法的有效性。代码与数据见 https://github.com/liufh1/hsl。
引用
@article{arxiv.2102.09375,
title = {Hierarchical Similarity Learning for Language-based Product Image Retrieval},
author = {Zhe Ma and Fenghao Liu and Jianfeng Dong and Xiaoye Qu and Yuan He and Shouling Ji},
journal= {arXiv preprint arXiv:2102.09375},
year = {2021}
}
备注
Accepted by ICASSP 2021. Code and data will be available at https://github.com/liufh1/hsl