视觉商品图:连接视觉商品与合成图像以实现端到端风格推荐
计算机视觉与模式识别
2025-05-28 v1
摘要
检索语义相似但视觉上不同的内容一直是视觉搜索系统中的关键能力。本工作旨在利用视觉商品图(VPG)解决这一问题,利用高性能存储基础设施和最先进的计算机视觉模型进行图像理解。VPG 被构建为一个在线实时检索系统,支持从单个商品导航至包含该商品的合成场景,并提供互补推荐。该系统不仅通过展示商品在特定语境下的搭配方式提供情境洞察,还提供从这些灵感中提取的互补商品推荐。讨论了构建视觉商品图的核心组件,以及在目标检测、基础视觉嵌入和其他视觉信号方面的核心计算机视觉模型改进。该系统在端到端人类相关性评估中实现了 78.8% 的极度相似@1,模块互动率达到 6%。由视觉商品图技术驱动的“搭配方式”模块已在 Pinterest 投入生产环境。
引用
@article{arxiv.2505.21454,
title = {Visual Product Graph: Bridging Visual Products And Composite Images For End-to-End Style Recommendations},
author = {Yue Li Du and Ben Alexander and Mikhail Antonenka and Rohan Mahadev and Hao-yu Wu and Dmitry Kislyuk},
journal= {arXiv preprint arXiv:2505.21454},
year = {2025}
}
备注
10 pages, 10 figures