基于知识蒸馏重新审视位置偏差建模以改进点击率预测
信息检索
2022-04-04 v1 人工智能
机器学习
摘要
点击率（CTR）预测在现实在线广告系统中极为重要。CTR 预测任务的一个挑战是从用户点击的物品中捕捉其真实兴趣，而这固有地受到物品展示位置的偏差影响，即更靠前的位置往往获得更高的 CTR 值。现有流行工作一方面通过结果随机化（昂贵且低效）或逆倾向加权（IPW，严重依赖倾向估计质量）显式估计位置偏差；另一方面常见方案是在离线训练时将位置作为特征建模，而在服务时采用固定值或丢弃技巧。然而，训练-推理不一致会导致次优性能。此外，点击后信息（如位置值）信息丰富却在 CTR 预测中利用不足。本文提出一种简洁高效的知识蒸馏框架，以减轻位置偏差影响并利用位置信息改进 CTR 预测。我们在真实生产数据集与在线 A/B 测试中验证了所提方法的性能，相较竞争基线模型取得显著提升。该方法已部署于真实在线广告系统，服务于全球最大电商平台之一的主要流量。
引用
@article{arxiv.2204.00270,
title = {Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction},
author = {Congcong Liu and Yuejiang Li and Jian Zhu and Xiwei Zhao and Changping Peng and Zhangang Lin and Jingping Shao},
journal= {arXiv preprint arXiv:2204.00270},
year = {2022}
}