从零到英雄：利用零效应在一侧触发实验中实现方差缩减
统计方法学
2023-02-01 v3 应用统计
摘要
在干预仅对一小部分人群暴露或“触发”的在线实验中，使用方差缩减技术以足够精度估计处理效应以支撑业务决策至关重要。触发稀释分析常用于此类情形，其将整体意向性治疗（ITT）效应的抽样方差缩减的倍数等于触发率的倒数；例如， 的触发率对应约 的方差缩减。应用触发稀释分析需知晓实验对象的触发反事实状态，即对象在处理与对照两种条件下的反事实行为。本文中，我们提出一种缩减方差的无偏 ITT 估计量，适用于仅在处理组观测到触发反事实状态的实验。我们的方法基于 CUPED 的效率增强思想，并借鉴主分层与工具变量文献中的识别框架。我们估计方法的无偏性依赖于一个可检验假设：用于协变量调整的增强项在期望中为零。不同于传统协变量调整或主分数建模方法，我们的估计量可同时纳入实验前与实验中的观测。我们通过真实实验与模拟证明，该估计量可保持无偏，并取得如同触发状态被完全观测般大的精度提升，某些情况下甚至优于触发稀释分析。
引用
@article{arxiv.2112.13299,
title = {Zero to Hero: Exploiting Null Effects to Achieve Variance Reduction in Experiments with One-sided Triggering},
author = {Alex Deng and Lo-Hua Yuan and Naoya Kanai and Alexandre Salama-Manteau},
journal= {arXiv preprint arXiv:2112.13299},
year = {2023}
}
备注
To be published in WSDM '23: Proceedings of the Sixteenth ACM International Conference on Web Search and Data Mining