基于模型的GPU神经检索LiNR
机器学习
2024-08-08 v3 人工智能
摘要
本文介绍了LiNR，这是LinkedIn的大规模GPU基检索系统。LiNR支持在GPU模型上构建十亿级索引。我们讨论了在生产规模下使用TensorFlow和PyTorch创建可扩展、可微分搜索索引的经验与挑战。在LiNR中，项目和模型权重集成到模型二进制文件中。将索引构建视为一种模型训练，我们描述了如何为大型索引进行规模化，纳入全扫描和高效过滤。我们的核心重点是通过属性基于预过滤来实现GPU搜索的彻底筛选，解决KNN搜索后过滤常导致系统质量下降的常见问题。我们进一步提供了多嵌入检索算法和应对检索冷启动问题的策略。我们也讨论了通过量化支持更大索引的措施。我们认为LiNR是行业首个之一的实时更新模型基检索索引。应用于LinkedIn Feed中的跨网络后推荐，LiNR为专业每日活跃用户数带来了3%的相对提升。我们设想LiNR是将检索与排序集成到单个GPU模型中、简化复杂基础设施并通过梯度下降实现整个可微分基础设施端到端优化的一步。
引用
@article{arxiv.2407.13218,
title = {LiNR: Model Based Neural Retrieval on GPUs at LinkedIn},
author = {Fedor Borisyuk and Qingquan Song and Mingzhou Zhou and Ganesh Parameswaran and Madhu Arun and Siva Popuri and Tugrul Bingol and Zhuotao Pei and Kuang-Hsuan Lee and Lu Zheng and Qizhan Shao and Ali Naqvi and Sen Zhou and Aman Gupta},
journal= {arXiv preprint arXiv:2407.13218},
year = {2024}
}