实验中的干扰校正：以抖音为例
统计方法学
2023-05-05 v1 机器学习
应用统计
机器学习
摘要
在抖音（中国版 TikTok）等双边内容市场上进行的实验中，干扰是一个普遍存在的问题。在许多情况下，创作者是自然实验单元，但创作者之间通过争夺观众有限的时间和注意力而相互干扰。目前实践中使用的“朴素”估计量简单地忽略了干扰，但这样做会产生与处理效应同阶的偏差。我们将此类实验中的推断问题形式化为策略评估问题。离策略估计量虽然无偏，但方差高得 impractical。我们提出了一种基于“差异-in-Qs”（DQ）技术的新型蒙特卡洛估计量，其偏差在处理效应上仅为二阶，同时保持样本高效估计。在理论方面，我们的贡献是发展了策略评估的泰勒展开广义理论，将 DQ 理论扩展到所有主要的 MDP 公式。在实践方面，我们在抖音的实验平台上实现了我们的估计量，并在此过程中将 DQ 发展为一种真正“即插即用”的现实场景干扰估计量：它提供稳健、低偏差、低方差的处理效应估计；支持计算成本低廉、渐近精确的不确定性量化；并且在我们的应用中与现有最佳替代方案相比将 MSE 降低了 99%。
引用
@article{arxiv.2305.02542,
title = {Correcting for Interference in Experiments: A Case Study at Douyin},
author = {Vivek F. Farias and Hao Li and Tianyi Peng and Xinyuyang Ren and Huawei Zhang and Andrew Zheng},
journal= {arXiv preprint arXiv:2305.02542},
year = {2023}
}