STATE：面向在线受控实验中重尾指标的稳健平均处理效应估计器
机器学习
2024-07-24 v1
摘要
在线受控实验在为广泛的企业做数据驱动决策方面发挥着关键作用。方差缩减是一种有效技术，可提高实验的灵敏度，在使用更少的样本和更短的实验周期的情况下实现更高的统计功效。然而，典型的方差缩减方法（例如回归调整估计器）建立在高斯分布直觉假设的基础上，无法正确描述具有重尾分布的真实业务指标。此外，离群值会削弱前实验协变量与结果指标之间的相关性，严重限制了方差缩减的有效性。本文开发了一种新型框架，将学生 t 分布与机器学习工具集成，以拟合重尾指标并构建面向在线受控实验的稳健平均处理效应估计器，称为 STATE。通过采用变分 EM 方法优化对数似然函数，我们可以推断出一种稳健解决方案，显著消除离群值对结果的负面影响并实现显著的方差缩减。此外，我们通过利用保持无偏估计的线性变换，将 STATE 方法从计数指标扩展到比值指标，其方差缩减更为复杂但在现有研究中受到较少关注。最终，关于 MEITUAN 实验平台的合成数据上的仿真和长期实际结果均证明了我们方法的有效性。与最先进的估计器（CUPAC/MLRATE）相比，STATE 实现了超过 50% 的方差缩减，表明它只需一半的观察量或实验持续时间即可达到相同的统计功效。
引用
@article{arxiv.2407.16337,
title = {STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments},
author = {Hao Zhou and Kun Sun and Shaoming Li and Yangfeng Fan and Guibin Jiang and Jiaqi Zheng and Tao Li},
journal= {arXiv preprint arXiv:2407.16337},
year = {2024}
}
备注
Accepted by KDD 2024