理解推荐模型的缩放定律
信息检索
2022-08-19 v1 机器学习
摘要
规模一直是提升机器学习性能的主要驱动力，理解缩放定律对于战略规划可持续的模型质量性能增长、长期资源规划以及开发支持大规模模型的高效系统基础设施至关重要。在本文中，我们研究了 DLRM 风格推荐模型（特别是点击率（CTR））的经验缩放定律。我们观察到模型质量随模型大小、数据大小和用于训练的计算量以幂律加常数的方式缩放。我们通过比较沿这些轴的不同缩放方案，刻画了沿数据、参数和计算三个不同资源维度的缩放效率。我们表明，对于所研究的模型架构，参数缩放已后继乏力，在出现性能更高的模型架构之前，数据缩放是前进的道路。本研究解决的关键研究问题包括：推荐模型是否如缩放定律所预测的那样可持续缩放？还是我们远远偏离了缩放定律的预测？缩放的极限是什么？缩放定律对长期硬件/系统开发有何启示？
引用
@article{arxiv.2208.08489,
title = {Understanding Scaling Laws for Recommendation Models},
author = {Newsha Ardalani and Carole-Jean Wu and Zeliang Chen and Bhargav Bhushanam and Adnan Aziz},
journal= {arXiv preprint arXiv:2208.08489},
year = {2022}
}