ReLoop2：通过响应式误差补偿环构建自适应推荐模型
信息检索
2023-12-01 v3
摘要
工业推荐系统面临在非平稳环境中运行的挑战，其中数据分布偏移由用户行为随时间演化引起。为应对此挑战，一种常见方法是利用新观测数据周期性重训练或增量更新已部署的深度模型，形成持续训练过程。然而，神经网络的常规学习范式依赖小学习率的迭代梯度更新，使大型推荐模型适应缓慢。本文中，我们引入ReLoop2，一种自校正学习环，通过响应式误差补偿促进在线推荐系统中的快速模型适应。受人类大脑中快慢互补学习系统的启发，我们提出误差记忆模块，直接存储来自输入数据流的误差样本。这些存储的样本随后被用于补偿测试阶段的模型预测误差，尤其在分布偏移下。误差记忆模块设计具备快速访问能力，并在模型服务阶段以新观测数据样本持续刷新，以支持快速模型适应。我们在三个开放基准数据集以及真实生产数据集上评估了ReLoop2的有效性。结果展示了ReLoop2在增强非平稳环境中运行推荐系统的响应性与适应性方面的潜力。
引用
@article{arxiv.2306.08808,
title = {ReLoop2: Building Self-Adaptive Recommendation Models via Responsive Error Compensation Loop},
author = {Jieming Zhu and Guohao Cai and Junjie Huang and Zhenhua Dong and Ruiming Tang and Weinan Zhang},
journal= {arXiv preprint arXiv:2306.08808},
year = {2023}
}
备注
Accepted by KDD 2023