揭示切换实验中遗留效应与奖励自相关的相互作用
机器学习
2025-08-29 v7 机器学习
摘要
A/B 测试已成为现代技术行业政策评估的金标准。受切换实验在 A/B 测试中广泛应用的启发，本文对马尔可夫环境下多种切换设计进行了全面的比较分析。与许多基于特定且相对简单的估计量推导最优设计的现有工作不同，我们的分析涵盖了强化学习（RL）文献中开发的一系列前沿估计量。分析揭示，不同切换设计的有效性关键取决于 (i) 遗留效应的大小和 (ii) 奖励误差随时间变化的自相关性。同时，这些发现与估计量无关，即适用于大多数 RL 估计量。基于这些见解，我们提供了一个工作流程，为从业者在 A/B 测试中设计切换实验提供指导。
引用
@article{arxiv.2403.17285,
title = {Unraveling the Interplay between Carryover Effects and Reward Autocorrelations in Switchback Experiments},
author = {Qianglin Wen and Chengchun Shi and Ying Yang and Niansheng Tang and Hongtu Zhu},
journal= {arXiv preprint arXiv:2403.17285},
year = {2025}
}