面向在线近似最近邻搜索的实时自适应多流GPU系统

近年来，近似最近邻搜索 (ANNS) 在现代搜索和推荐系统中发挥着关键作用，尤其是在如检索增强生成 (RAG) 等新兴的大语言模型应用中。人们正在探索利用 GPU 的并行计算能力来满足 ANNS 的巨大需求。然而，现有系统主要关注离线场景，忽略了那些需要实时插入新向量的在线应用的独特要求。这一限制使得此类系统在现实场景下效率不高。此外，先前的体系结构难以有效支持实时插入，由于其依赖单一流中的串行执行。本文引入一种新的实时自适应多流GPU ANNS 系统 (RTAMS-GANNS)。我们的体系结构通过三个关键突破实现了目标：1) 我们最初检查了现有GPU ANNS 系统中的实时插入机制，发现其依赖重复的复制和内存分配，这显然严重阻碍了GPU上的实时效果。作为解决方案，我们引入一种基于内存块的动态向量插入算法，包括原位重新排列。2) 为了在并行中实现实时向量插入，我们引入一种多流并行执行模式，这与现有系统在单个流中串行执行的模式不同。我们的系统利用动态资源池，允许多个流并行执行而无需额外的执行阻塞。3) 通过大量实验和比较，我们的方法有效处理了不同数据集在不同 QPS 级别下的请求量，使延迟降低了最高可达40%-80%。该系统已部署在现实世界的工业搜索和推荐系统中，每日服务数亿用户，取得了良好成果。