面向电商同款商品检索的统一视觉-语言表示建模

同款商品检索在电商平台中扮演重要角色，旨在识别文本描述或图像可能不同的相同商品。它可用于不同供应商的相似商品检索或单一供应商的重复商品检测。常用方法以图像为处理对象，但仅考虑视觉特征而忽略文本描述所含属性信息，且在机械、五金工具与电子元件等图像次要行业上表现薄弱，即便追加文本匹配模块亦然。本文提出一种面向电商同款商品检索的统一视觉-语言建模方法，旨在以文本描述与视觉内容共同表示一件商品。其包含一种采样策略，从用户点击日志中在类目与相关约束下收集正样本对，以及一种新颖对比损失单元，将图像、文本及图像+文本表示建模至同一联合嵌入空间。该方法支持跨模态商品对商品检索，以及风格迁移与用户交互式搜索。标注数据上的离线评估显示其优越检索性能，在线测试表明其能吸引更多点击与转化。此外，该模型已部署于全球最大B2B电商平台阿里巴巴国际站（alibaba.com）的相似商品检索。