通过动态跳过陈旧嵌入加速推荐模型训练
信息检索
2024-04-09 v1 机器学习
摘要
训练推荐模型在资源利用和性能方面存在诸多挑战。先前的研究提出了将嵌入分为流行类和非流行类的方法，以减少推荐模型的训练时间。我们观察到，尽管在流行嵌入中，也存在某些嵌入经历快速训练并表现出最小后续变化的情况，即出现饱和现象。因此，对这些嵌入的更新对模型质量贡献为零。本文提出了Slipstream—a款识别陈旧嵌入并跳过其更新的软件框架，以提升性能。该能力使Slipstream能够实现显著的加速，优化CPU-GPU带宽使用，消除不必要的内存访问。SlipStream在真实数据集和配置下，分别相较于Baseline XDL、Intel优化DRLM、FAE和Hotline，实现了2x、2.4x、1.2x和1.175x的训练时间缩减。
关键词
引用
@article{arxiv.2404.04270,
title = {Accelerating Recommender Model Training by Dynamically Skipping Stale Embeddings},
author = {Yassaman Ebrahimzadeh Maboud and Muhammad Adnan and Divya Mahajan and Prashant J. Nair},
journal= {arXiv preprint arXiv:2404.04270},
year = {2024}
}