用于检测 A/B 实验中处理效应的机器学习辅助随机化检验
统计方法学
2025-01-15 v1 机器学习
摘要
实验方法被广泛用于跨学科的因果推断与数据驱动决策。例如，在 A/B 实验中，在线企业向客户随机分配两种不同的处理（如网站设计），然后旨在推断哪种处理更好。在本文中，我们针对复杂的处理效应（包括异质性与干扰）构建了随机化检验。我们方法的一个关键特征是使用灵活的机器学习（ML）模型，其中检验统计量定义为两个 ML 模型的交叉验证误差之差，一个包含处理变量，另一个不包含。该方法将现代 ML 工具的预测能力与随机化程序的有限样本有效性相结合，能够在实验环境中稳健且高效地检测复杂的处理效应。我们通过应用实例在理论与实证两方面展示了这一综合优势。
引用
@article{arxiv.2501.07722,
title = {ML-assisted Randomization Tests for Detecting Treatment Effects in A/B Experiments},
author = {Wenxuan Guo and JungHo Lee and Panos Toulis},
journal= {arXiv preprint arXiv:2501.07722},
year = {2025}
}