A/B 测试：一项系统性文献综述
软件工程
2023-08-10 v1
摘要
在 A/B 测试中，从终端用户视角在现场比较软件的两个变体，以实现数据驱动的决策。尽管业界广泛使用，尚无针对 A/B 测试前沿状态的综合性研究。本文报告一项分析了 141 篇原始研究的系统性文献综述结果。结果显示 A/B 测试的主要对象为算法与视觉元素。单一经典 A/B 测试为主导测试类型。利益相关者在 A/B 测试设计中有三角色：概念设计者、实验架构师与设置技术员。A/B 测试执行期间收集的主要数据类型为产品/系统数据与以用户为中心的数据。测试结果的主要用途为特征选择、特征发布与持续特征开发。利益相关者在 A/B 测试执行中有两主导角色：实验协调者与实验评估者。所报告的主要开放问题为所提方法的增强及其可用性。未来研究的有趣方向包括：加强统计方法在 A/B 测试中的采用、改进 A/B 测试流程、以及提升 A/B 测试自动化。
引用
@article{arxiv.2308.04929,
title = {A/B Testing: A Systematic Literature Review},
author = {Federico Quin and Danny Weyns and Matthias Galster and Camila Costa Silva},
journal= {arXiv preprint arXiv:2308.04929},
year = {2023}
}