用于深度点击率预测的数据增强多轮次学习
机器学习
2024-07-03 v1 信息检索
机器学习
摘要
本文研究了点击率（CTR）模型中的单轮次过拟合现象，即在第二轮次开始时性能显著下降。尽管已有广泛研究，但多轮次训练相对于传统单轮次方法的有效性仍不明确。我们发现，由高维数据稀疏性引起的嵌入层过拟合是主要问题。为了解决这一问题，我们引入了一种新颖且简单的数据增强多轮次学习（MEDA）框架，适用于非连续和连续学习场景，可无缝集成到现有的深度CTR模型中，并可能在处理重训练和著名的灾难性遗忘问题中的“遗忘或过拟合”困境方面具有潜在应用。MEDA通过减少嵌入层对后续训练数据或多层感知机（MLP）层的依赖来最小化过拟合，并通过在不同嵌入空间中训练MLP来实现数据增强。我们的研究结果证实，预训练的MLP层能够适应新的嵌入空间，在不发生过拟合的情况下提升性能。这种适应性表明，MLP层在学习匹配函数时侧重于嵌入之间的相对关系，而非其绝对位置。据我们所知，MEDA是首个专为深度CTR预测模型定制的多轮次训练策略。我们在多个公共和商业数据集上进行了大量实验，充分证明了数据增强的有效性以及相对于传统单轮次训练的优越性。此外，MEDA在现实世界的在线广告系统中也展现出显著优势。
引用
@article{arxiv.2407.01607,
title = {Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction},
author = {Zhongxiang Fan and Zhaocheng Liu and Jian Liang and Dongying Kong and Han Li and Peng Jiang and Shuang Li and Kun Gai},
journal= {arXiv preprint arXiv:2407.01607},
year = {2024}
}