面向深度点击率预测模型过拟合现象的理解
信息检索
2022-09-14 v1 人工智能
机器学习
摘要
深度学习技术已广泛应用于工业推荐系统。然而,相较于深度神经网络中公认的关键问题,推荐系统模型的过拟合问题却鲜受关注。在点击率(CTR)预测场景下,我们观察到一种有趣的单轮过拟合问题:模型性能在第二轮训练开始时出现急剧退化。这一现象在CTR模型的真实应用中被广泛见证,因此最佳性能通常仅通过单轮训练获得。为理解单轮现象背后的因素,我们在阿里巴巴展示广告系统采集的生产数据集上进行了大量实验。结果表明,模型结构、具有快速收敛率的优化算法以及特征稀疏性与单轮现象密切相关。我们还提供了一个可能的假设来解释该现象,并进行了一组概念验证实验。希望本工作能为未来以更多轮训练获取更优性能的研究提供启示。
引用
@article{arxiv.2209.06053,
title = {Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models},
author = {Zhao-Yu Zhang and Xiang-Rong Sheng and Yujing Zhang and Biye Jiang and Shuguang Han and Hongbo Deng and Bo Zheng},
journal= {arXiv preprint arXiv:2209.06053},
year = {2022}
}
备注
Accepted by CIKM2022