基于自适应与机器学习的群体拆分 A/B 测试流水线自动化
软件工程
2023-08-15 v2
摘要
A/B 测试是工业界常用的一种方法，通过引入新功能或修改现有软件来促进创新。传统上，A/B 测试按顺序进行，每个实验针对相应应用的全体用户群体。这种方法可能耗时且成本高，尤其当实验与全体用户并不相关时。为解决这些问题，我们提出了一种称为 AutoPABS（即基于自适应的自动化 A/B 测试流水线，Automated Pipelines of A/B tests using Self-adaptation）的新型自适应方法，该方法（1）自动化 A/B 测试流水线的执行，（2）利用机器学习，支持在流水线中按基于用户的标准将群体拆分为多个 A/B 测试。我们首先通过一项小型调查来评估参与者对 AutoPABS 符号与基础设施的评价，随后利用 SEAByTE 工件的扩展进行了一系列测试，以衡量在自动化 A/B 测试流水线中应用群体拆分所带来的收益。调查结果显示，参与者认可自动化 A/B 测试流水线与群体拆分的有用性。测试表明，与顺序执行实验的传统方法相比，自动执行带群体拆分的 A/B 测试流水线能加速并行执行的 A/B 实验统计显著结果的识别。
引用
@article{arxiv.2306.01407,
title = {Automating Pipelines of A/B Tests with Population Split Using Self-Adaptation and Machine Learning},
author = {Federico Quin and Danny Weyns},
journal= {arXiv preprint arXiv:2306.01407},
year = {2023}
}