学习最大化加速A/B测试功效的指标

在线控制实验是科技公司做出自信决策的关键工具。定义一个北极星指标（如长期收入或用户留存），在A/B测试中对该指标有统计显著改进的系统变体可被视为更优。北极星指标通常延迟且不敏感。因此，实验成本高：实验需要运行很长时间，即使如此，第二类错误（即假阴性）也很普遍。我们提出通过学习短期信号中的指标来直接最大化它们相对于北极星指标的统计功效。我们表明现有方法容易过拟合，因为更高的平均指标敏感性并不意味着改进的第二类错误，而是建议最小化指标在过去实验日志上产生的p值。我们从两个每月活跃用户均超过1.6亿的社交媒体应用中收集此类数据集，总计超过153个A/B对。实验结果表明，当单独使用我们学习的指标时，统计功效可提高高达78%；当与北极星指标联合使用时，可提高高达210%。或者，我们可以在样本量仅为北极星所需样本量的12%时获得恒定的统计功效，从而显著降低实验成本。