大规模计算广告平台中的在线模型评估

在线媒体为营销人员提供了向广大受众传递有效品牌信息的机会。广告技术平台通过实时向在线用户投放广告曝光，使广告主能够触达其目标受众。为了识别最适合用户的营销信息并以合理的价格购买曝光，我们严重依赖出价预测与优化模型。尽管出价预测模型在文献中已被充分研究，但同等重要的模型评估问题却常被忽视。对在线出价模型进行有效且可靠的评估，对于加快模型改进速度以及更高效地利用营销预算至关重要。本文提出了一个用于出价预测模型的实验框架，重点关注模型评估的实践层面。具体而言，我们概述了由于异构目标定义、不同营销活动的预算需求差异、高季节性以及基于竞拍的库存购买环境等多种因素，而在平台中遇到的独特挑战。随后，我们引入投资回报率（ROI）作为统一的模型性能（即成功）指标，并解释了其相较于点击率（CTR）或转化率（CVR）等传统指标的优势。最重要的是，我们详细讨论了常用的评估与指标汇总方法，并提出了一种更准确的方法，用于在线评估新实验模型相对于基线的表现。我们基于元分析的方法解决了其他方法的各种缺陷，并得出了统计上稳健的结论，使我们能够以可靠的方式更快地结束实验。我们通过一些实验在真实营销活动数据上验证了该评估策略的有效性。