面向大规模推荐系统在神经相似度度量下的近似最近邻搜索
信息检索
2022-03-01 v2 机器学习
摘要
基于模型的推荐系统方法已被广泛研究多年。现代推荐系统通常借助 1) 将用户-物品偏好定义为其嵌入表示之间距离的表示学习模型，以及 2) 基于嵌入的近似最近邻(ANN)搜索来解决大规模语料库带来的效率问题。基于嵌入的检索模式在提供高效检索的同时，也限制了模型容量，因为用户-物品偏好度量的形式被限制为嵌入表示之间的距离。然而，对于其他更精确的用户-物品偏好度量，例如直接由深度神经网络得出的偏好分数，由于缺乏高效的检索方法，它们在计算上难以处理，而对所有用户-物品对进行穷举搜索是不现实的。在本文中，我们提出一种新颖方法，将 ANN 搜索扩展到任意匹配函数，例如深度神经网络。我们的主要思想是在由所有物品构建的相似度图中，利用匹配函数执行贪心游走。为解决图构建的相似度度量与用户-物品匹配函数异构的问题，我们提出一个可插拔的对抗训练任务，以确保使用任意匹配函数的图搜索能达到相当高的精度。在开源和工业数据集上的实验结果证明了我们方法的有效性。所提方法已在淘宝展示广告平台全量部署，并带来了可观的广告收入提升。我们还在本文中总结了部署的详细经验。
引用
@article{arxiv.2202.10226,
title = {Approximate Nearest Neighbor Search under Neural Similarity Metric for Large-Scale Recommendation},
author = {Rihan Chen and Bin Liu and Han Zhu and Yaoxuan Wang and Qi Li and Buting Ma and Qingbo Hua and Jun Jiang and Yunlong Xu and Hongbo Deng and Bo Zheng},
journal= {arXiv preprint arXiv:2202.10226},
year = {2022}
}
备注
10 pages, under review of SIGKDD-2022