通过治疗局部性改进 A/B 测试中终身效应的估计

利用随机实验评估短期治疗对短期结果的影响已广为人知，成为工业实践中的黄金标准。然而，随着服务系统日益动态和个性化，越来越多关注如何通过持续暴露于干预措施来最大化长期结果，如客户终身价值。我们的目标是从相对短期观察（如 A/B 测试生成的观察数据）中评估治疗和对照政策对长期结果的影响。一个关键的管理观察是，许多实际治疗是局部的，只影响特定目标状态，而不影响其他部分政策。本文严格探讨了这种局部性是否及如何被利用以改进马尔可夫决策过程（MDP）中长期效应的估计，这是动态系统的基本模型。我们首先为一般的 MDP 中的 A/B 测试开发最优推断技术，并建立相应的效率下界。随后，我们提出方法通过在非目标状态之间共享信息来利用局部结构。新的估计器可在不牺牲无偏性的情况下，实现估计方差在测试臂数上的线性减少。它还匹配了考虑局部性的更紧密的方差下界。此外，我们将框架扩展到广泛的可微分估计器类，这涵盖了实践中广泛使用的许多方法。我们展示，所有此类估计器都可以通过信息共享来实现方差缩减，而不会增加其偏差。总而言之，这些结果为在具有局部治疗的动态服务系统中进行高效实验提供了理论基础和实用工具。