大型推荐模型的数据效率
信息检索
2024-10-28 v2 机器学习
摘要
大型推荐模型（LRMs）是多数十亿美元的在线广告行业的基础，处理数千亿个示例的数据集后，过渡到持续的在线训练以适应快速变化的用户行为。数据规模的巨大直接影响计算成本以及新方法评估的速度（R&D速度）。本文提出了可操作的原则和高级框架，以指导实践者优化训练数据要求。这些策略已成功部署在Google最大的广告CTR预测模型中，适用于LRMs之外的广泛应用场景。我们概述了数据收敛的概念，描述了加快收敛速度的方法，最终详细说明如何在训练数据量与模型大小之间进行最佳平衡。
引用
@article{arxiv.2410.18111,
title = {Data Efficiency for Large Recommendation Models},
author = {Kshitij Jain and Jingru Xie and Kevin Regan and Cheng Chen and Jie Han and Steve Li and Zhuoshu Li and Todd Phillips and Myles Sussman and Matt Troup and Angel Yu and Jia Zhuo},
journal= {arXiv preprint arXiv:2410.18111},
year = {2024}
}