DeepStyle：面向时尚与室内设计的多模态搜索引擎
计算机视觉与模式识别
2019-02-21 v2
摘要
在本文中，我们提出了一种多模态搜索引擎，它结合视觉与文本线索，从多媒体数据库中检索与查询在美学上相似的项目。我们的引擎旨在实现对服装或家具等时尚商品的直观检索。现有的搜索引擎仅将文本输入视为关于查询图像的附加信息来源，并不对应于用户寻找“同一件衬衫但为牛仔布材质”的真实场景。我们的新方法称为 DeepStyle，通过使用联合神经网络架构来建模不同模态特征之间的上下文依赖关系，缓解了这些缺陷。我们在两个具有挑战性的时尚物品与家具数据集上证明了该方法的鲁棒性，其中我们的 DeepStyle 引擎在测试数据集上比基线方法高出 18-21%。我们的搜索引擎已商业部署，并通过基于 Web 的应用程序提供。
引用
@article{arxiv.1801.03002,
title = {DeepStyle: Multimodal Search Engine for Fashion and Interior Design},
author = {Ivona Tautkute and Tomasz Trzcinski and Aleksander Skorupa and Lukasz Brocki and Krzysztof Marasek},
journal= {arXiv preprint arXiv:1801.03002},
year = {2019}
}
备注
Copyright held by IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works