基于摊销推断的深度学习推荐模型中高效用户历史建模
机器学习
2024-12-11 v1 信息检索
摘要
我们通过Transformer编码器在深度学习推荐模型（DLRM）中研究用户历史建模。此类架构可以显著提升推荐质量，但通常需要高昂的延迟成本， necessitating 基础设施升级或极小的Transformer模型。用户历史建模的重要部分是候选物品的早期融合，已有多种方法被研究。我们重新审视早期融合，比较了将候选物品与每个历史物品拼接的方法与将其作为单独物品追加到列表末尾的方法。使用后者方法，我们可以将最近提出的摊销历史推断算法M-FALCON reformulate用于DLRM模型的情况。实验结果表明，追加结合交叉注意力的性能与拼接相当，且摊销显著降低了推断成本。我们最后给出了在LinkedIn Feed和Ads平台上部署该模型的结果，其中摊销相比非摊销推断将延迟降低了30%。
引用
@article{arxiv.2412.06924,
title = {Efficient user history modeling with amortized inference for deep learning recommendation models},
author = {Lars Hertel and Neil Daftary and Fedor Borisyuk and Aman Gupta and Rahul Mazumder},
journal= {arXiv preprint arXiv:2412.06924},
year = {2024}
}
备注
5 pages, 3 figures, WWW 2025