一种测量在线A/B测试中一对一通信特性的网络效应的方法
应用统计
2019-03-22 v1
摘要
A/B测试是产品开发中重要的决策工具，因为它能准确估计新特性的平均处理效应，使开发者了解产品或算法新变更的业务影响。然而，A/B测试的一个重要假设——稳定单元处理值假设（SUTVA）——并非总是成立，尤其是对于促进个体间交互的产品。在一对一消息等情境下，我们应当预期网络干扰；若实验处理有效，处理组的行为可能通过向控制组成员发送消息而影响其，从而违背该假设。本文提出一种新方法，可在对一对一交互进行A/B测试时考虑网络效应。我们的方法是一种基于边的分析，可应用于标准伯努利随机化实验，以提取不受网络干扰影响的平均处理效应。我们建立了理论模型，以及通过网一致置换检验计算感兴趣效应的点估计与方差的方法。随后将我们的技术应用于LinkedIn消息产品上进行的实验的真实数据。我们找到了对模型的实证支持，并有证据表明标准A/B测试分析方法低估了一对一消息情境下新特性的影响。
引用
@article{arxiv.1903.08766,
title = {A Method for Measuring Network Effects of One-to-One Communication Features in Online A/B Tests},
author = {Guillaume Saint-Jacques and James Eric Sorenson and Nanyu Chen and Ya Xu},
journal= {arXiv preprint arXiv:1903.08766},
year = {2019}
}