始终强化你的优势：一种面向 CTR 预测的漂移感知增量学习框架
信息检索
2023-04-19 v1 机器学习
摘要
点击率（CTR）预测在推荐系统和在线广告平台中至关重要。在工业场景中部署时，CTR 模型观测到的用户生成数据通常以流的形式到达。流数据具有底层分布随时间漂移且可能重现的特征。如果模型始终简单地适应新数据分布，会导致灾难性遗忘。此外，重新学习已出现过的分布是低效的。由于大规模工业应用中的内存限制与数据分布多样性，诸如回放、参数隔离和知识蒸馏等应对灾难性遗忘的常规策略难以部署。本文设计了一种基于集成学习的新型漂移感知增量学习框架，以解决 CTR 预测中的灾难性遗忘问题。通过对流数据基于显式误差的漂移检测，该框架进一步强化适配良好的集成，并冻结与输入分布不匹配的集成以避免灾难性干扰。离线实验与 A/B 测试均表明，我们的方法优于所有考虑的基线。
引用
@article{arxiv.2304.09062,
title = {Always Strengthen Your Strengths: A Drift-Aware Incremental Learning Framework for CTR Prediction},
author = {Congcong Liu and Fei Teng and Xiwei Zhao and Zhangang Lin and Jinghe Hu and Jingping Shao},
journal= {arXiv preprint arXiv:2304.09062},
year = {2023}
}
备注
This work has been accepted by SIGIR23