KuaiFormer：快手的基于Transformer检索
信息检索
2024-11-18 v1 人工智能
机器学习
摘要
在大规模内容推荐系统中，检索作为流水线的初始阶段，负责从数十亿选项中选择数千候选项传递给排序模块。传统上，主导检索方法是基于嵌入的检索（EBR），使用深度神经网络（DNN）双塔结构。然而，将Transformer应用于检索任务一直是近期研究的焦点，但实际工业部署仍面临重大挑战。本文介绍KuaiFormer，一种部署在大规模内容推荐系统中的新型基于Transformer的检索框架。KuaiFormer通过从传统的评分估计任务（如点击率估计）转向Transformer驱动的下一行为预测范式，从根本上重新定义了检索过程。这种转变实现了更有效的实时兴趣获取和多兴趣提取，显著提升了检索性能。自2024年5月起，KuaiFormer已成功集成到快手App的短视频推荐系统中，服务超过4亿日活用户，使用户平均每日使用时长显著增加。我们提供了在大规模推荐系统中部署Transformer的技术和业务双方面见解，解决了工业实施中遇到的实际挑战。我们的发现为旨在利用Transformer模型优化大规模内容推荐系统的工程师和研究人员提供了宝贵指导。
引用
@article{arxiv.2411.10057,
title = {KuaiFormer: Transformer-Based Retrieval at Kuaishou},
author = {Chi Liu and Jiangxia Cao and Rui Huang and Kai Zheng and Qiang Luo and Kun Gai and Guorui Zhou},
journal= {arXiv preprint arXiv:2411.10057},
year = {2024}
}