UKD：通过不确定性正则化知识蒸馏消除转化率估计偏差
信息检索
2022-01-21 v1
摘要
在在线广告中，传统的点击后转化率（CVR）估计模型使用点击样本训练。然而，在线服务时模型需对所有曝光广告进行估计，导致样本选择偏差（SSB）问题。直观上，为未点击广告提供可靠监督信号是缓解 SSB 问题的可行途径。本文提出不确定性正则化知识蒸馏（UKD）框架，通过从未点击广告中蒸馏知识来消除 CVR 估计偏差。教师模型学习点击自适应表示，并在未点击广告上生成伪转化标签作为监督信号。随后学生模型在点击与未点击广告上借助知识蒸馏训练，并进行不确定性建模以缓解伪标签固有的噪声。在十亿规模数据集上的实验表明，UKD 优于以往的去偏方法。在线结果验证了 UKD 取得了显著提升。
引用
@article{arxiv.2201.08024,
title = {UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation},
author = {Zixuan Xu and Penghui Wei and Weimin Zhang and Shaoguo Liu and Liang Wang and Bo Zheng},
journal= {arXiv preprint arXiv:2201.08024},
year = {2022}
}
备注
Accepted by WWW 2022 research track. The first two authors contributed equally