面向增量学习的个性化负样本储存库
信息检索
2025-02-13 v2 人工智能
摘要
推荐系统已成为在线平台的核心组成部分。每天，训练数据的规模不断扩大，用户交互次数也在不断增加。探索更大范围且更具表达力的模型已成为提升用户体验的必然之路。然而，这一进程伴随着计算负担的增加。在商业环境中，一旦推荐系统模型经过训练并部署，就需要频繁更新以适应新客户数据。累积性地，数据量的不断增长最终会使从头开始对模型进行完整批处理再训练变得在计算上不可行。仅凭在新数据上进行微调会陷入已广泛记录的“灾难性遗忘”问题。尽管负采样是使用隐式反馈训练中的关键环节，但目前尚不存在针对增量学习框架的专门技术。本文提出了一种个性化负样本储存库策略，用于为基于图的推荐系统的标准三元组损失获取负样本。我们的技术通过鼓励模型记忆稳定的用户偏好，并在用户兴趣发生变化时选择性地遗忘，从而在记忆与灵活性之间取得平衡。我们推导了用于填充和更新储存库的负采样器的数学公式。我们将设计集成到三种 SOTA 且常用的增量推荐模型中。我们展示，这些对负储存库框架的具体实现在使用多个 Top-K 评估指标的情况下，实现了标准基准测试的最新结果。
引用
@article{arxiv.2403.03993,
title = {Personalized Negative Reservoir for Incremental Learning in Recommender Systems},
author = {Antonios Valkanas and Yuening Wang and Yingxue Zhang and Mark Coates},
journal= {arXiv preprint arXiv:2403.03993},
year = {2025}
}