样本量有限时 A/B 测试是否重要？——汽车嵌入式软件中的小样本 A/B 测试
软件工程
2021-11-12 v2
摘要
A/B 测试作为一种衡量软件变更因果效应的有前景工具，正受到汽车行业的关注。与已成熟建立 A/B 测试的面向网络业务不同，汽车领域常受限于可参与在线实验的合格用户数量。为解决此不足，我们提出一种设计平衡对照组与处理组的方法，以便能从相当小的样本量实验中得出可靠结论。虽然 Balance Match Weighted 方法已用于医学等其他领域，但本文是首篇在软件开发背景下应用并评估该方法的论文。此外，我们详细描述了 Balance Match Weighted 方法，并与一家汽车制造商开展案例研究，将组设计方法应用于车队。最后，我们展示了汽车软件工程领域的案例研究，并讨论了 A/B 组设计方法的优势与局限。
引用
@article{arxiv.2107.02461,
title = {Size matters? Or not: A/B testing with limited sample in automotive embedded software},
author = {Yuchu Liu and David Issa Mattos and Jan Bosch and Helena Holmström Olsson and Jonn Lantz},
journal= {arXiv preprint arXiv:2107.02461},
year = {2021}
}
备注
In proceedings of the 2021 47th Euromicro Conference on Software Engineering and Advanced Applications (SEAA)