打破确定性：用于广告拍卖中可靠离线策略评估的随机建模
机器学习
2025-12-04 v1 机器学习
摘要
在线 A/B 测试是评估新广告策略的金标准，但消耗大量工程资源，且部署表现不佳的变体存在显著的收入损失风险。这促使人们使用离线策略评估（OPE）进行快速、离线的评估。然而，将 OPE 应用于广告拍卖比在随机策略常见的推荐系统等领域更具挑战性。在在线广告拍卖中，通常出价最高的广告赢得展示，形成确定性的赢家通吃设置。这导致未中标的广告曝光概率为零，使标准 OPE 估计量不适用。我们通过重新利用出价景观模型来近似倾向得分，首次提出了确定性拍卖中 OPE 的系统框架。该模型使我们能够推导出稳健的近似倾向得分，从而可以使用稳定的估计量（如自归一化逆倾向得分 SNIPS）进行反事实评估。我们在 AuctionNet 仿真基准和来自大规模工业平台的为期两周的在线 A/B 测试上验证了我们的方法。我们的方法与在线结果表现出显著的一致性，在 CTR 预测中实现了 92% 的平均方向准确率（MDA），显著优于参数基线。MDA 是指导部署决策的最关键指标，因为它反映了正确预测新模型将改善还是损害性能的能力。本研究为确定性拍卖环境中的可靠 OPE 提供了首个实用且经过验证的框架，为昂贵且有风险的在线实验提供了高效的替代方案。
引用
@article{arxiv.2512.03354,
title = {Breaking Determinism: Stochastic Modeling for Reliable Off-Policy Evaluation in Ad Auctions},
author = {Hongseon Yeom and Jaeyoul Shin and Soojin Min and Jeongmin Yoon and Seunghak Yu and Dongyeop Kang},
journal= {arXiv preprint arXiv:2512.03354},
year = {2025}
}