真实负样本至关重要:基于真实负样本持续训练的后滞反馈建模
机器学习
2021-08-13 v2
摘要
转化率(CVR)预测的一个难点在于转化可能延迟发生,且在点击后很久才出现。后滞反馈带来一个挑战:新鲜数据有利于持续训练,但在进入训练流程时可能不具备完整的标签信息。为平衡模型新鲜度与标签确定性,以往方法设置一个较短的等待窗口甚至不等待转化信号。若转化发生在等待窗口之外,该样本将被复制并以前阳标签进入训练流程。然而,这些方法存在一些问题。首先,它们假设观测到的特征分布与实际分布一致,但由于复制样本的引入,该假设并不成立。其次,转化动作的确定性仅来自正样本,而在商业系统中转化稀疏,正样本十分稀少。这些问题在后滞反馈建模过程中引入了偏差。本文提出基于真实负样本的延迟反馈建模(DEFER)方法来解决这些问题。所提方法将真实负样本引入训练流程。真实负样本的引入确保观测特征分布等同于实际分布,从而减小偏差。真实负样本的引入也带来了更多关于转化的确定性信息。为纠正分布偏移,DEFER采用重要性采样对损失函数加权。在工业数据集上的实验结果验证了DEFER的优越性。DEFER已部署于阿里巴巴展示广告系统,在多个场景中取得CVR超过6.0%的提升。本文代码与数据现已开源 {https://github.com/gusuperstar/defer.git}。
引用
@article{arxiv.2104.14121,
title = {Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling},
author = {Siyu Gu and Xiang-Rong Sheng and Ying Fan and Guorui Zhou and Xiaoqiang Zhu},
journal= {arXiv preprint arXiv:2104.14121},
year = {2021}
}
备注
Accepted at KDD 2021