面向深度点击率预测模型的多轮次训练学习
信息检索
2023-06-01 v1 机器学习
摘要
单轮次过拟合现象在工业界点击率（CTR）应用中已被广泛观察到，模型性能在第二轮次开始时出现显著退化。近期研究试图通过大量实验理解该现象背后的潜在因素。然而，由于最佳性能通常由单轮次训练取得，多轮次训练范式能否获得更好结果仍未知。本文假设该现象的出现可归因于嵌入层易受过拟合影响，而这源于数据的高维稀疏性。为在保持特征稀疏性的同时避免嵌入过拟合，我们提出一种新颖的带数据增强的多轮次学习（MEDA），可直接应用于大多数深度CTR模型。MEDA通过在每轮次重新初始化嵌入层实现数据增强，从而避免嵌入过拟合并同时改善收敛。据我们所知，MEDA是首个为深度CTR预测模型设计的多轮次训练范式。我们在多个公开数据集上进行了大量实验，充分验证了所提MEDA的有效性。值得注意的是，结果表明MEDA可显著优于常规单轮次训练。此外，MEDA在快手的实际场景中展现出显著收益。
引用
@article{arxiv.2305.19531,
title = {Multi-Epoch Learning for Deep Click-Through Rate Prediction Models},
author = {Zhaocheng Liu and Zhongxiang Fan and Jian Liang and Dongying Kong and Han Li},
journal= {arXiv preprint arXiv:2305.19531},
year = {2023}
}