通过子项嵌入动态剪枝实现百万级物品的高效推荐

庞大的物品目录是部署现代序列推荐模型的主要挑战，因为这会导致模型的内存占用过大并增加推理延迟。解决该问题的一种可行方法是 RecJPQ，它用子项嵌入替代物品嵌入。然而，推理缓慢的问题依然存在，因为寻找得分最高的物品通常需要对目录中的所有物品进行评分，这对于大型目录而言可能不可行。通过借鉴文档检索中的动态剪枝概念，我们提出了 RecJPQPrune 动态剪枝算法，以在不计算目录中所有物品得分的情况下高效找到得分最高的物品。我们的 RecJPQPrune 算法在排名 K 之前是安全的，因为它在理论上保证了不会有潜在的高分物品被排除在最终的 Top K 推荐列表之外，从而确保对有效性没有影响。我们在两个大型数据集和三种推荐模型上的实验证明了使用 RecJPQPrune 可实现的效率：例如，在包含 220 万物品的 Tmall 数据集上，与 Transformer Default 基线相比，我们可以将模型评分的中位时间减少 64 倍，与一种名为 PQTopK 的近期评分方法相比减少 5.3 倍。总体而言，本文展示了在文献中尚未报道过的目录规模下，基于 Transformer 的推荐模型的有效且高效的推理。实际上，我们的 RecJPQPrune 算法可以在不使用 GPU 且不依赖近似最近邻（ANN）技术的情况下，在 10 毫秒内对 200 万物品进行评分。