递减探索：一种面向分段平稳多臂赌博机的极简方法
机器学习
2024-10-10 v1 信息论
math.IT
摘要
分段平稳赌博机问题是多臂赌博机问题的一个重要变体，它进一步考虑了奖励分布的突变。该问题的主旨是在检测环境变化的探索与传统赌博机算法的利用之间进行权衡。尽管该问题已被广泛研究，但现有工作要么假设知道变化点数量，要么需要极高的计算复杂度。在这项工作中，我们从极简主义的角度重新审视了分段平稳赌博机问题。我们提出了一种新颖且通用的探索机制，称为递减探索，它消除了对知识的需要，并且可以与现有的基于变化检测的算法结合使用，以实现接近最优的遗憾缩放。仿真结果表明，尽管不知道，但为现有算法配备所提出的递减探索通常比传统的均匀探索获得更好的经验遗憾。
引用
@article{arxiv.2410.05734,
title = {Diminishing Exploration: A Minimalist Approach to Piecewise Stationary Multi-Armed Bandits},
author = {Kuan-Ta Li and Ping-Chun Hsieh and Yu-Chih Huang},
journal= {arXiv preprint arXiv:2410.05734},
year = {2024}
}