面向 Shopsy 的视觉相似商品检索

视觉搜索在转售电商中大有裨益，尤其对于偏好本地语言、不熟悉技术的用户而言。与基于文本的搜索推荐头部品牌商品不同，它使转售商能够精准定位其所需商品。电商中的商品属性具有构建更优视觉搜索系统的巨大潜力，因为它们捕捉了数据点之间的细粒度关系。在本工作中，我们采用多任务学习方法为转售电商设计了一套视觉搜索系统。我们还指出并解决了转售电商中面临的诸如图像压缩、裁剪、图像上涂写等挑战。我们的模型包含三个不同任务：属性分类、三元组排序和变分自编码器（VAE）。属性分类的设计中使用了掩码技术。接下来，我们引入一种离线三元组挖掘技术，其利用来自多个属性的信息来捕捉数据内部的相对顺序。与传统的使用单一标签/属性信息的三元组挖掘基线相比，该技术展现出更优的性能。我们还比较并报告了统一多任务模型相对于各独立任务的增量收益。我们利用印度最大电商公司 Flipkart 旗下 Lifestyle 业务部门的内部商品图像数据集证明了方法的有效性。为了在生产环境中高效检索图像，我们使用近似最近邻（ANN）索引。最后，我们强调了生产环境约束，并给出了为选择合适的 ANN 索引所开展的设计选择与实验。