序贯蒙特卡洛老虎机

在本文中，我们提出了一个灵活且高效的框架来处理多臂老虎机问题，该框架结合了序贯蒙特卡洛算法与分层贝叶斯建模技术。该框架自然地在单一推断模型下涵盖了非平稳老虎机、上下文老虎机以及其他老虎机变体。尽管该模型具有通用性，但我们基于序贯蒙特卡洛方法的最新进展，提出了高效的蒙特卡洛算法以使推断可扩展。通过两项模拟研究，表明该框架优于其他经验方法，同时自然地扩展到现有方法无法应对的更复杂问题。此外，我们成功地将该框架应用于在线视频广告推荐，并展示了其相较于当前最先进老虎机算法的更高效能。