在 Pinterest 学习用于视觉搜索的统一嵌入

在 Pinterest，我们在搜索与推荐系统中广泛利用图像嵌入，通过支持相关内容的浏览以及购物时精确商品的搜索等体验，帮助用户浏览视觉内容。在本工作中，我们描述了一个多任务深度度量学习系统，用于学习单一的统一图像嵌入，该嵌入可用于支撑我们的多个视觉搜索产品。我们提出的方案不仅允许我们在单一深度神经网络架构中针对多个应用目标进行训练，而且利用来自每个应用的所有训练数据组合中的相关信息，生成一种统一嵌入，其性能优于先前为每个产品部署的所有专用嵌入。我们讨论了处理来自不同领域图像（如相机照片、高质量网络图像以及干净的产品目录图像）的挑战。我们还详述了如何联合训练多个产品目标，以及如何利用参与数据和人工标注数据。此外，我们训练得到的嵌入也可被二值化以实现高效存储与检索，且不损害精确率与召回率。通过离线指标、用户研究以及在线 A/B 实验的综合评估，我们证明，与现有专用嵌入相比，我们所提出的统一嵌入在浏览与搜索目的下均提升了视觉搜索产品的相关性与用户参与度。最后，该统一嵌入在 Pinterest 的部署大幅降低了维护多个嵌入的运营与工程成本，同时提升了质量。