校准至关重要：应对大规模广告推荐系统中的最大化偏差
机器学习
2023-03-22 v5 统计方法学
摘要
校准定义为平均预测点击率与真实点击率之比。校准的优化对许多在线广告推荐系统至关重要，因为它直接影响广告拍卖中的下游出价以及向广告主收取的费用。尽管其重要性显著，校准优化常受一种称为“最大化偏差”的问题困扰。最大化偏差是指预测值的最大值高估真实最大值的现象。该问题之所以产生，是因为校准是在由预测模型自身所选出的集合上计算的。即使每个数据点都能实现无偏预测，该问题依然存在，并且在训练集与测试集之间存在协变量偏移时会进一步恶化。为缓解此问题，本文对最大化偏差进行了量化理论分析，并提出了一种方差调整去偏（VAD）元算法。该算法高效、鲁棒且实用，能够在协变量偏移下缓解最大化偏差问题，既不增加额外的在线服务成本，也不损害排序性能。我们在大规模真实数据集上使用最先进的推荐神经网络模型验证了所提算法的有效性。
引用
@article{arxiv.2205.09809,
title = {Calibration Matters: Tackling Maximization Bias in Large-scale Advertising Recommendation Systems},
author = {Yewen Fan and Nian Si and Kun Zhang},
journal= {arXiv preprint arXiv:2205.09809},
year = {2023}
}
备注
Accepted in ICLR 2023