简单而高效：针对淘宝推荐的多场景近线检索框架
信息检索
2024-08-07 v3
摘要
在推荐系统中，匹配阶段正变得越来越关键，成为整个推荐流程的上限。最近，一些研究开始探索使用多场景信息进行推荐，如基于模型和基于数据的方法。然而，匹配阶段面临显著挑战，需满足超大规模检索和低延迟要求。因此，此阶段应用的方法（如协同过滤和双塔模型）往往设计为轻量级，阻碍了对大量信息的充分利用。相反，排序阶段拥有最复杂的模型，评分能力最强，但由于移动设备屏幕大小有限，大多数排名结果可能无法获得曝光或显示。在本文中，我们引入一种创新的多场景近线检索框架。该框架通过 Flink 利用来自不同场景的排序日志，使我们能够将来自其他场景中精细排名的结果整合到匹配阶段的近实时检索中。此外，我们提出了一种流式评分模块，从候选池中选择关键子集。该方法在中国最大电子商务平台“淘宝”应用的首页（“你可能喜欢”）上实现，显示出显著的改进——尤其是产品交易量提升了 5%。此外，提出的方法既无模型依赖，又高度高效，表明可在多种场景下快速实现并展现出有前景的性能。
引用
@article{arxiv.2408.00247,
title = {Simple but Efficient: A Multi-Scenario Nearline Retrieval Framework for Recommendation on Taobao},
author = {Yingcai Ma and Ziyang Wang and Yuliang Yan and Jian Wu and Yuning Jiang and Longbin Li and Wen Chen and Jianhang Huang},
journal= {arXiv preprint arXiv:2408.00247},
year = {2024}
}