在具有递增分配的 A/B 测试中检测干扰
统计方法学
2023-03-27 v2 应用统计
摘要
在过去十年中，科技行业采用在线随机对照实验（即 A/B 测试）来指导产品开发和业务决策。在实践中，A/B 测试常以递增的处理分配实施：新处理通过一系列随机实验逐步发布给越来越多的单元。在社交网络环境或双边在线市场等场景中，单元间可能存在干扰，这会损害简单推断程序的有效性。在这项工作中，我们引入了一种广泛适用的程序，用于在具有递增分配的 A/B 测试中检验干扰。我们的程序可在现有 A/B 测试平台之上以独立流程实现，且不需要事先指定特定的干扰机制。具体而言，我们引入了在两个不同假设下均有效的两种置换检验。首先，我们引入一种不需要额外假设的干扰通用统计检验。其次，我们引入一种在时间固定效应假设下有效的检验程序。该检验程序计算复杂度极低、功效强，并将行业中已实施的启发式算法形式化。我们通过合成数据上的模拟展示了所提检验程序的性能。最后，我们讨论了 LinkedIn 的一个应用，其中已实现了一个筛选步骤，利用本文提出的方法在其所有市场实验中对潜在干扰进行检测。
引用
@article{arxiv.2211.03262,
title = {Detecting Interference in A/B Testing with Increasing Allocation},
author = {Kevin Han and Shuangning Li and Jialiang Mao and Han Wu},
journal= {arXiv preprint arXiv:2211.03262},
year = {2023}
}