Comparison Lift：面向在线广告的基于 Bandit 的实验系统
机器学习
2020-09-18 v1 机器学习
摘要
Comparison Lift 是一个面向京东在线广告受众和创意测试的实验即服务 (EaaS) 应用。与许多主要关注固定样本 A/B 测试的其他 EaaS 工具不同，Comparison Lift 部署了定制的基于 bandit 的实验算法。基于 bandit 方法的优势有两方面。首先，它将测试中引入的随机化与广告主的测试目标对齐。其次，通过使实验设计适应测试期间获取的信息，它大幅降低了广告主的实验成本。自 2019 年 5 月上线以来，Comparison Lift 已被用于超过 1,500 次实验。我们估计，该产品的使用帮助参与广告活动的点击率平均提高了 46%。我们估计，与固定样本 A/B 设计相比，产品中的自适应设计在测试期间平均多产生了 27% 的点击。两者均表明该产品为广告主带来了显著的增值和成本节约。
引用
@article{arxiv.2009.07899,
title = {Comparison Lift: Bandit-based Experimentation System for Online Advertising},
author = {Tong Geng and Xiliang Lin and Harikesh S. Nair and Jun Hao and Bin Xiang and Shurui Fan},
journal= {arXiv preprint arXiv:2009.07899},
year = {2020}
}