滑动窗口训练——利用历史推荐系统数据训练基础模型
信息检索
2024-09-24 v1 机器学习
摘要
长期运行的推荐系统经常会遇到跨越多年的冗长用户-物品交互历史。为了有效地学习长期用户偏好，大型推荐系统基础模型（FM）需要在预训练中对这些信息进行编码。通常，这是通过以下两种方式之一完成的：要么生成足够长的序列长度以将所有历史序列作为输入，代价是模型输入维度过大；要么丢弃部分用户历史，以适应生产服务端的模型大小和延迟要求。在本文中，我们引入了一种滑动窗口训练技术，以在训练期间合并长用户历史序列，而无需增加模型输入维度。我们展示了该技术为 RecSys FM 在学习用户长期偏好方面带来的定量和定性改进。我们还表明，在预训练中学习到的目录中物品的平均质量也得到了提升。
引用
@article{arxiv.2409.14517,
title = {Sliding Window Training -- Utilizing Historical Recommender Systems Data for Foundation Models},
author = {Swanand Joshi and Yesu Feng and Ko-Jen Hsiao and Zhe Zhang and Sudarshan Lamkhede},
journal= {arXiv preprint arXiv:2409.14517},
year = {2024}
}
备注
To be published In 18th ACM Conference on Recommender Systems (RecSys '24), October 14--18, 2024, Bari, Italy