量化迭代实验的价值
应用统计
2021-11-04 v1 统计方法学
摘要
在过去十年中，大多数科技公司以及越来越多传统企业已将在线实验（或 A/B 测试）纳入其产品开发流程。最初，A/B 测试作为一种静态流程部署：实验通过将一半用户随机分配以查看对照——标准产品——另一半查看处理——新版本来进行。随后结果被用于辅助关于广泛发布哪个版本的决策。近来，随着实验成熟，企业开发了更具动态性的实验方法，即通过一系列随机实验（称为迭代）将新版本（处理）逐步发布给不断增长的单元数。本文中，我们发展了一个理论框架以量化此类动态或迭代实验带来的价值。我们将框架应用于 LinkedIn 七个月的实验，表明迭代实验使该公司一项主要指标额外提升了 20%。
引用
@article{arxiv.2111.02334,
title = {Quantifying the Value of Iterative Experimentation},
author = {Jialiang Mao and Iavor Bojinov},
journal= {arXiv preprint arXiv:2111.02334},
year = {2021}
}