双塔推荐模型中的单次反向传播
信息检索
2024-10-10 v4
摘要
近年来,为了缓解信息过载,开发双塔推荐模型的研究广泛开展。此类模型可识别出四个构建模块:用户-物品编码、负采样、损失计算和反向传播更新。据我们所知,现有算法仅研究了前三个模块,而忽略了反向传播模块。它们都采用一种双反向传播策略,该策略基于在训练阶段平等对待用户和物品的隐含假设。在本文中,我们挑战这种平等训练假设,并提出一种新颖的单次反向传播更新策略,该策略保持物品编码塔的正常梯度反向传播,但切断用户编码塔的反向传播。相反,我们提出一种移动聚合更新策略,在每个训练周期更新用户编码。除了提出的反向传播更新模块,我们以最直接的选择实现了其他三个模块。在四个公共数据集上的实验验证了我们模型的有效性和效率,在推荐性能提升和计算负载降低方面均优于最先进的竞争对手。
引用
@article{arxiv.2403.18227,
title = {One Backpropagation in Two Tower Recommendation Models},
author = {Erjia Chen and Bang Wang},
journal= {arXiv preprint arXiv:2403.18227},
year = {2024}
}
备注
14 pages, 7 figures