百万级商品规模下基于子商品ID的序列推荐模型的高效推理
信息检索
2024-08-20 v1 数据结构与算法
摘要
基于Transformer的推荐系统，如BERT4Rec或SASRec，在序列推荐中取得了最先进的结果。然而，在拥有数百万商品的目录的生产环境中使用这些模型具有挑战性：将Transformer扩展到数千个商品以上存在诸多问题，包括高模型内存消耗和推理速度慢。在这方面，RecJPQ是一种最先进的减少模型内存消耗的方法；RecJPQ通过将商品ID分解为少量共享子商品ID来压缩商品目录。尽管报告了内存消耗降低高达50倍，但原始RecJPQ论文未报告相对于基准Transformer模型的推理效率提升。分析RecJPQ的评分算法后发现，其效率受限于对每个商品使用评分累加器，这阻碍了并行化。相比之下，LightRec（一种使用类似子ID思想的非序列方法）通过一种称为PQTopK的算法报告了显著的推理效率提升。我们证明也可以使用PQTopK算法提升基于RecJPQ的模型的推理效率。具体而言，在包含超过一百万商品的大规模Gowalla数据集上，我们的方法将RecJPQ增强的SASRec的推理速度相对于原始SASRec推理方法提升了4.5倍，相对于RecJPQ代码实现的方法提升了1.56倍。此外，使用模拟数据，我们证明PQTopK在多达数千万商品的目录中仍然高效，消除了在生产环境中使用基于Transformer的模型应对大型目录的最后障碍之一。
引用
@article{arxiv.2408.09992,
title = {Efficient Inference of Sub-Item Id-based Sequential Recommendation Models with Millions of Items},
author = {Aleksandr V. Petrov and Craig Macdonald and Nicola Tonellotto},
journal= {arXiv preprint arXiv:2408.09992},
year = {2024}
}
备注
Accepted by RecSys 2024