深度检索：学习可检索结构用于大规模推荐
信息检索
2021-05-19 v2 机器学习
机器学习
摘要
大规模推荐的核心问题之一是准确高效地检索最相关的候选项目，最好能在亚线性时间内完成。以往的方法大多基于两步流程：首先学习一个内积模型，然后使用某种近似最近邻（ANN）搜索算法寻找最佳候选。本文提出深度检索（Deep Retrieval, DR），直接利用用户-项目交互数据（如点击）学习可检索结构，无需依赖ANN算法中的欧几里得空间假设。DR的结构将所有候选项目编码到离散潜空间中。这些候选项目的潜在代码是模型参数，与其他神经网络参数一起学习，以最大化同一目标函数。模型学习完成后，在结构上执行波束搜索以检索最佳候选进行重排序。实验上，我们首先证明DR在亚线性计算复杂度下，可以在两个公共数据集上达到与暴力基线几乎相同的准确率。此外，我们在一个实际生产推荐系统中展示，部署的DR方法在参与度指标上显著优于精心调优的ANN基线。据我们所知，DR是首批成功部署于工业推荐系统、处理数亿项目规模的非ANN算法之一。
引用
@article{arxiv.2007.07203,
title = {Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations},
author = {Weihao Gao and Xiangjun Fan and Chong Wang and Jiankai Sun and Kai Jia and Wenzhi Xiao and Ruofan Ding and Xingyan Bin and Hui Yang and Xiaobing Liu},
journal= {arXiv preprint arXiv:2007.07203},
year = {2021}
}
备注
9 pages, 6 figures