面向大规模推荐的实时索引：基于流式向量量化检索器
信息检索
2025-01-16 v1
摘要
检索器作为最重要的推荐阶段之一，在严格的延迟限制下负责高效选择后续阶段的可能正样本。因此，大型系统始终依赖近似计算和索引来大致缩小候选规模，并使用简单的排序模型。在考虑简单模型缺乏产生精确预测能力的问题后，现有方法主要关注融合复杂的排序模型。然而，索引有效性的另一个根本问题仍未得到解决，也成为复杂度瓶颈。本文提出了一种新型索引结构：流式向量量化模型，作为新的一代检索范式。流式VQ实时为物品附加索引，具备即时性。此外，通过对可能的变体进行细致验证，实现了额外的益处，如索引平衡和可修复性，使其能够支持复杂的排序模型。作为一种轻量且实现友好的架构，流式VQ已部署并取代了抖音和抖音 Lite中的所有主要检索器，取得了显著的用户参与度提升。
引用
@article{arxiv.2501.08695,
title = {Real-time Indexing for Large-scale Recommendation by Streaming Vector Quantization Retriever},
author = {Xingyan Bin and Jianfei Cui and Wujie Yan and Zhichen Zhao and Xintian Han and Chongyang Yan and Feng Zhang and Xun Zhou and Qi Wu and Zuotao Liu},
journal= {arXiv preprint arXiv:2501.08695},
year = {2025}
}