多指标 A/B 测试中的风险感知产品决策
统计方法学
2024-02-20 v1
摘要
在过去十年中，A/B 测试已成为科技公司进行产品决策的标准方法。它们提供了一种科学的产品开发途径，利用统计假设检验来控制错误决策的风险。通常在 A/B 测试中使用多个指标以服务于不同目的，例如建立成功证据、防止倒退或验证测试有效性。为了减轻多结果 A/B 测试中的风险，必须根据这些结果的不同角色调整设计和分析。本文介绍了指导 Spotify 实验评估的决策规则理论框架。首先，我们表明如果使用带有非劣效性测试的护栏指标，则无需对这些测试进行多重性调整的显著性水平校正。其次，如果决策规则包含非劣效性测试、恶化测试或质量测试，则必须校正第二类错误率以保证决策所需的统计功效。我们提出了一项涵盖成功、护栏、恶化和质量指标的决策规则，并采用了多样化的测试方法。伴随该规则的是一项设计和分析计划，旨在缓解任何数据生成过程中的风险。理论结果通过蒙特卡洛模拟进行了演示。
引用
@article{arxiv.2402.11609,
title = {Risk-aware product decisions in A/B tests with multiple metrics},
author = {Mårten Schultzberg and Sebastian Ankargren and Mattias Frånberg},
journal= {arXiv preprint arXiv:2402.11609},
year = {2024}
}