基于属性特定嵌入学习的细粒度时尚相似度预测
计算机视觉与模式识别
2021-10-12 v2 信息检索
摘要
本文致力于预测细粒度时尚相似度。在此相似度范式下，应更多关注时尚物品之间在特定设计/属性上的相似性。例如，两件衣服的衣领设计是否相似。这在许多时尚相关应用中具有潜在价值，如时尚版权保护。为此，我们提出属性特定嵌入网络（ASEN）来联合学习多个属性特定嵌入，从而在相应空间中度量细粒度相似度。所提 ASEN 由全局分支与局部分支组成。全局分支将整图作为输入从全局视角提取特征，而局部分支以针对指定属性的放大感兴趣区域（RoI）作为输入，从而能够提取更细粒度的特征。由于全局分支与局部分支从不同视角提取特征，二者互为补充。此外，在每个分支中，集成了两个注意力模块，即属性感知空间注意力与属性感知通道注意力，使 ASEN 能够在指定属性引导下定位相关区域并捕获本质模式，从而使学习到的属性特定嵌入更好地反映细粒度相似度。在 FashionAI、DARN 和 DeepFashion 三个时尚相关数据集上的大量实验显示了 ASEN 在细粒度时尚相似度预测上的有效性及其在时尚重排序中的潜力。代码与数据见 https://github.com/maryeon/asenpp 。
引用
@article{arxiv.2104.02429,
title = {Fine-Grained Fashion Similarity Prediction by Attribute-Specific Embedding Learning},
author = {Jianfeng Dong and Zhe Ma and Xiaofeng Mao and Xun Yang and Yuan He and Richang Hong and Shouling Ji},
journal= {arXiv preprint arXiv:2104.02429},
year = {2021}
}
备注
Conference paper: arXiv:2002.02814