存在外生非平稳变化时的自适应实验
机器学习
2023-08-29 v4 机器学习
摘要
我们研究旨在为群体部署选择处理臂的实验。多臂老虎机算法可根据观察到的反馈动态地将测量精力分配给表现更高的臂，从而提高效率。然而，此类动态在面对实验期间影响各臂表现的非平稳外生因素时，可能导致脆弱的行为。为此，我们提出去混杂汤普森采样（DTS），这是著名汤普森采样算法的一种更鲁棒的变体。随着观测的积累，DTS 在控制所观察到的处理决策所处上下文的同时，对各臂的群体层面表现进行投影。此处的上下文可能捕捉一个可理解的变异来源，例如被处理个体的国家，或仅记录处理的时间。我们给出了 DTS 的实验内与实验后遗憾界的估计，说明了其对外生变化的韧性以及在探索与利用之间达成的微妙平衡。我们的证明利用逆倾向得分来分析后验分布的演化，这有别于文献中既有的方法。为暗示新理解确有必要，我们展示了流行的上置信界算法的一个去混杂变体可能完全失效。
引用
@article{arxiv.2202.09036,
title = {Adaptive Experimentation in the Presence of Exogenous Nonstationary Variation},
author = {Chao Qin and Daniel Russo},
journal= {arXiv preprint arXiv:2202.09036},
year = {2023}
}