面向CTR预测中神经网络连续训练的延迟反馈处理
机器学习
2021-04-27 v2 机器学习
摘要
展示广告中的挑战之一是,由于季节性、广告活动变化及其他因素,特征和点击率(CTR)的分布可能随时间发生较大偏移。应对这些偏移的主流策略是持续地在新鲜数据上训练预测模型,以防止其过时。然而,在许多广告系统中,正标签仅在可能较长且随机的延迟后才被观测到。这些延迟标签对连续训练中的数据新鲜度提出了挑战:新鲜数据在被训练算法摄入时可能不具备完整的标签信息。任何数据点在被观测到正标签之前都被视为负例的朴素策略往往低估CTR,导致较差的用户体验和广告主的次优性能。本文的重点是确定在存在延迟标签的情况下,能够从连续数据流中进行大规模学习的最佳损失函数与模型组合。在这项工作中,我们比较了5种不同的损失函数,其中3种首次应用于该问题。我们在公开和专有数据集的离线设置下,结合浅层与深度模型架构,对它们的性能进行了基准测试。我们还讨论了在生产环境中实现每种损失函数所需的工程成本。最后,我们使用表现最优的方法进行了在线实验,以验证其在连续训练方案中的性能。在6.68亿条内部数据点的离线训练中,我们提出的方法相对交叉熵(RCE)比先前最先进水平高出3%。在线实验中,我们观察到每千次请求收入(RPMq)相比朴素对数损失提升了55%。
引用
@article{arxiv.1907.06558,
title = {Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction},
author = {Sofia Ira Ktena and Alykhan Tejani and Lucas Theis and Pranay Kumar Myana and Deepak Dilipkumar and Ferenc Huszar and Steven Yoo and Wenzhe Shi},
journal= {arXiv preprint arXiv:1907.06558},
year = {2021}
}
备注
Accepted at RecSys '19