模型误设对贝叶斯老虎机的影响：UX优化中的案例研究

使用 Thompson Sampling 的贝叶斯老虎机近年来取得了越来越多的成功。然而，现有的（奖励）价值模型在许多现实问题中存在误设。我们在用户体验优化（UXO）问题上证明了这一点，将其表述为一个带有未观测混淆因子和可选停止的 restless、sleeping 老虎机。我们的案例研究展示了常见的误设如何导致次优奖励，并提供了模型扩展来解决这些问题，同时提出了一种科学的模型构建流程，供从业者采用或调整以解决其独特的难题。据我们所知，这是第一项展示过度分散对老虎机探索/利用有效性影响的研究，将欠置信和过置信的常见概念分别与过度探索和探索不足联系起来。我们还提出了第一个在 restless 老虎机中利用协整的模型，证明了通过超越更简单的窗口化、折扣和漂移模型，实现有限遗憾以及快速、一致的可选停止是可能的。