面向在线自适应流量实验的实用批量贝叶斯采样算法

在线受控实验已成为评估新网页功能的行业黄金标准。随着新网页算法的激增，实验平台面临对在线实验速度的日益增长的需求，这促使自适应流量测试方法通过高效分配流量来加速识别最佳变体。本文针对eBay的实验平台提出了四种贝叶斯批量bandit算法（NB-TS、WB-TS、NB-TTTS、WB-TTTS），利用目标指标的汇总批量统计，而不引入新的工程技术债。其中新颖的WB-TTTS尤其展示了作为固定 horizon A/B测试的高效、可信且鲁棒的替代方案。另一新颖贡献是将最佳臂识别算法的可信性引入评估准则，并凸显了等效最佳臂下严重的假阳性膨胀现象。为赢得实验者的信任，实验平台必须同时考虑效率与可信性；然而据作者所知，可信性这一重要主题极少被讨论。本文表明，未经中性后验重塑的贝叶斯bandit，尤其是朴素Thompson采样（NB-TS），是不可信的，因为它们总能从等效最佳臂中识别出某一臂为最佳。为恢复可信性，一个新发现揭示了等效最佳臂的后验最优概率的收敛分布与中性后验重塑之间的关联，后者可控制假阳性。最后，本文呈现了来自eBay经验的教训以及详尽的评估。我们希望本工作对其他工业从业者有所助益，并启发对自适应流量实验可信性感兴趣的学术研究者。