非平稳 bandit 的定义
机器学习
2023-07-31 v2 机器学习
摘要
尽管非平稳 bandit 学习这一主题近来备受关注，我们尚未确定一个能够一致区分非平稳 bandit 与平稳 bandit 的非平稳性的形式化定义。先前工作将非平稳 bandit 刻画为奖励分布随时间变化的 bandit。我们证明该定义会模糊地将同一个 bandit 同时分类为平稳和非平稳；这种模糊性源于现有定义对奖励分布潜在序列的依赖。此外，该定义产生了两种广泛使用的后悔概念：动态后悔与弱后悔。这些概念在某些 bandit 中并不能指示智能体的定性性能。而且，这种非平稳 bandit 的定义导致了过度探索的智能体的设计。我们引入了一个解决这些问题的非平稳 bandit 的形式化定义。我们的新定义提供了一种统一的方法，可无缝应用于 bandit 的贝叶斯和频率主义公式。此外，我们的定义确保对为智能体提供不可区分体验的两个 bandit 进行一致分类，将它们都归为平稳或都归为非平稳。这一进展为非平稳 bandit 学习提供了更稳健的框架。
引用
@article{arxiv.2302.12202,
title = {A Definition of Non-Stationary Bandits},
author = {Yueyang Liu and Xu Kuang and Benjamin Van Roy},
journal= {arXiv preprint arXiv:2302.12202},
year = {2023}
}