CowClip：在单 GPU 上将 CTR 预测模型训练时间从 12 小时缩短至 10 分钟
机器学习
2022-12-01 v3 信息检索
摘要
点击率（CTR）预测任务旨在预测用户是否会点击推荐项目。由于线上每日产生海量数据，加速 CTR 预测模型训练对于保证模型时效性和降低训练成本至关重要。提升训练速度的一种方法是采用大批量训练。然而，正如计算机视觉与自然语言处理任务中所显示的，大批量训练容易遭受精度损失。我们的实验表明，以往的缩放规则在 CTR 预测神经网络训练中失效。为解决该问题，我们首先从理论上证明，不同 id 的出现频率使得在扩大批量大小时难以缩放超参数。为在大批量设置下稳定训练过程，我们提出了自适应按列裁剪（CowClip）。它给出了一种针对嵌入层的简便且有效的缩放规则，保持学习率不变并缩放 L2 损失。我们在两个真实数据集上对四种 CTR 预测网络进行了大量实验，并成功将原始批量大小扩大 128 倍而无精度损失。特别地，对于在 Criteo 数据集上训练的 CTR 预测模型 DeepFM，我们的优化框架将批量大小从 1K 扩大到 128K，AUC 提升超过 0.1%，并在单张 V100 GPU 上将训练时间从 12 小时缩短至 10 分钟。我们的代码位于 https://github.com/bytedance/LargeBatchCTR。
引用
@article{arxiv.2204.06240,
title = {CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU},
author = {Zangwei Zheng and Pengtai Xu and Xuan Zou and Da Tang and Zhen Li and Chenguang Xi and Peng Wu and Leqi Zou and Yijie Zhu and Ming Chen and Xiangzhuo Ding and Fuzhao Xue and Ziheng Qin and Youlong Cheng and Yang You},
journal= {arXiv preprint arXiv:2204.06240},
year = {2022}
}
备注
AAAI 2023