自动空间感知的时尚概念发现
计算机视觉与模式识别
2017-08-07 v1
摘要
本文提出了一种使用来自购物网站的弱标记图文数据的自动空间感知概念发现方法。我们首先通过在视觉-语义嵌入空间中联合建模服装图像及其对应描述来微调 GoogleNet。然后，对于每个属性（词），我们通过将其语义词向量表示与从微调网络的卷积图导出的空间表示相结合，生成其空间感知表示。得到的空间感知表示进一步用于将属性聚类为多个组，以形成空间感知概念（例如，领口概念可能包含 V 领、圆领等属性）。最后，我们将视觉-语义嵌入空间分解为多个概念特定的子空间，这通过利用多模态语言规律性促进了结构化浏览和基于属性反馈的产品检索。我们在新收集的 Fashion200K 数据集上进行了广泛的实验，聚类质量评估和基于属性反馈的产品检索任务的结果证明了我们自动发现的空间感知概念的有效性。
引用
@article{arxiv.1708.01311,
title = {Automatic Spatially-aware Fashion Concept Discovery},
author = {Xintong Han and Zuxuan Wu and Phoenix X. Huang and Xiao Zhang and Menglong Zhu and Yuan Li and Yang Zhao and Larry S. Davis},
journal= {arXiv preprint arXiv:1708.01311},
year = {2017}
}
备注
ICCV 2017