元实验：通过实验来改进实验
信息检索
2024-06-25 v1 应用统计
摘要
A/B 测试在行业中广泛用于优化面向客户的网站。许多公司雇佣实验专家来促进和改进 A/B 测试的过程。本文提出将 A/B 测试应用于改进本身的工作方法，即对实验过程本身进行实验，称为 '元实验'。我们通过一个元实验的实例讨论了这一方法的挑战，该实例帮助实验人员运行更多足够强大的 A/B 测试。我们还指出，当实验专家针对自己的实验进行 'dog fooding' 时，所能获得的好处。
引用
@article{arxiv.2406.16629,
title = {Meta-experiments: Improving experimentation through experimentation},
author = {Melanie J. I. Müller},
journal= {arXiv preprint arXiv:2406.16629},
year = {2024}
}
备注
6 pages, 2 figures, 1 table