聚类数据、比率指标及协变量调整的实验功效分析
统计方法学
2024-06-12 v1 统计理论
统计理论
摘要
我们描述了如何计算包含聚类数据、比率指标和/或协变量调整的A/B测试的标准误。这可以用于在运行实验之前使用历史数据进行功效分析/样本大小计算，也可以在实验后用于假设检验和置信区间。不同应用具有常见框架，using the sample variance of certain residuals.该框架与模块化软件兼容，可以插入标准工具，不需要计算协方差矩阵，且在数值上稳健。使用这一方法，我们估计协变量调整可实现关键指标中66%的方差减半，从而将实验运行时间缩短66%。
引用
@article{arxiv.2406.06834,
title = {Power Analysis for Experiments with Clustered Data, Ratio Metrics, and Regression for Covariate Adjustment},
author = {Tim Hesterberg and Ben Knight},
journal= {arXiv preprint arXiv:2406.06834},
year = {2024}
}
备注
17 pages, 6 figures