提升推荐系统中多任务排序模型的训练稳定性
机器学习
2023-06-16 v2
摘要
推荐系统在许多内容平台中扮演着重要角色。虽然大多数推荐研究致力于设计更好的模型以改善用户体验，但我们发现，关于稳定此类模型训练的研究却严重不足。随着推荐模型变得更大、更复杂，它们更容易出现训练不稳定问题，即损失发散，这可能导致模型无法使用，浪费大量资源并阻碍模型开发。在本文中，我们分享了为提升 YouTube 推荐系统中一个真实多任务排序模型的训练稳定性而获得的发现和最佳实践。我们展示了导致训练不稳定的一些模型特性，并推测了其原因。此外，基于我们对训练不稳定点附近训练动力学的观察，我们假设了现有解决方案为何会失败，并提出了一种新算法以缓解现有解决方案的局限性。我们在 YouTube 生产数据集上的实验表明，与几种常用的基线方法相比，所提出的算法能显著提高训练稳定性，同时不影响收敛性。
引用
@article{arxiv.2302.09178,
title = {Improving Training Stability for Multitask Ranking Models in Recommender Systems},
author = {Jiaxi Tang and Yoel Drori and Daryl Chang and Maheswaran Sathiamoorthy and Justin Gilmer and Li Wei and Xinyang Yi and Lichan Hong and Ed H. Chi},
journal= {arXiv preprint arXiv:2302.09178},
year = {2023}
}
备注
Accepted at KDD 2023; 12 pages