通过两阶段对比 ID 预训练驾驭在线推荐系统的“一 epoch 现象”
信息检索
2025-08-27 v1 机器学习
摘要
ID 嵌入在网页规模的在线推荐系统中广泛使用。然而，由于数据分布的长尾特性，这些嵌入容易过拟合，常常只能进行单一次训练，称为“一 epoch 问题”。这一挑战驱动了研究人员通过提升收敛速度或特征稀疏性来优化第一个 epoch 中的性能。在本研究中，我们引入一种新型的两阶段训练策略，采用最小模型和对比损失进行预训练，使嵌入系统获得更广的数据覆盖。我们的离线实验表明，预训练阶段的多 epoch 训练不会导致过拟合，所得嵌入在针对更复杂的下游推荐任务进行微调时能提升在线泛化性能。我们将所提系统在 Pinterest 的实际流量中部署后，实现了显著的全站用户参与度提升。
引用
@article{arxiv.2508.18700,
title = {Taming the One-Epoch Phenomenon in Online Recommendation System by Two-stage Contrastive ID Pre-training},
author = {Yi-Ping Hsu and Po-Wei Wang and Chantat Eksombatchai and Jiajing Xu},
journal= {arXiv preprint arXiv:2508.18700},
year = {2025}
}
备注
Published at RecSys'24, see https://dl.acm.org/doi/10.1145/3640457.3688053