基于偏微分方程分析的对称双臂伯努利老虎机问题
机器学习
2023-07-18 v5 偏微分方程分析
机器学习
摘要
本文研究两臂伯努利老虎机问题的一个变体，其中两臂均值之和为1（对称双臂伯努利老虎机）。在均值之差随预测周期数趋于无穷而趋于零的 regime 下，即随着样本量增大，检测该差距的难度增加，我们通过将最小最大最优 regret 和伪 regret 分别与一个线性热方程的解相关联，得到了该问题的最小最大最优 regret 和伪 regret 的首项。我们的结果改进了先前已知的结果；具体而言，我们在三种不同的差距缩放 regime 下显式计算了这些首项。此外，我们对任意给定时间范围得到了新的非渐近界。尽管对于更一般的老虎机问题最优玩家策略尚属未知，但研究在特定玩家策略下 regret 如何累积（即便这些策略未必最优）仍有显著意义。我们期望本文的方法应可用于此类情形。
引用
@article{arxiv.2202.05767,
title = {A PDE-Based Analysis of the Symmetric Two-Armed Bernoulli Bandit},
author = {Vladimir A. Kobzar and Robert V. Kohn},
journal= {arXiv preprint arXiv:2202.05767},
year = {2023}
}
备注
Improved results in the large gap regime