未知支撑均匀多臂老虎机的渐近最优策略

考虑一个控制器从有限个 $N \geq 2$ 的总体中依次抽样的问题，这些总体由随机变量 $X^i_k$ 指定，$i = 1,\ldots , N,$ 且 $k = 1, 2, \ldots$；其中 $X^i_k$ 表示第 $i$ 个总体第 $k$ 次被抽样时的结果。假设对每个固定的 $i$，$\{ X^i_k \}_{k \geq 1}$ 是某个区间 $[a_i, b_i]$ 上独立同分布的均匀随机变量序列，其支撑（即 $a_i, b_i$）对控制器未知。目标是制定一个策略 $\pi$，基于可用数据，在任意时刻 $n=1,2,\ldots$ 决定从 $N$ 个总体中的哪一个抽样，以最大化 $n$ 次抽样的期望结果总和，或等价地，最小化因缺乏参数 $\{ a_i \}$ 和 $\{ b_i \}$ 信息而产生的后悔。本文提出一种简单的膨胀样本均值（ISM）型策略，其在后悔达到 Burnetas 和 Katehakis (1996) 渐近下界的意义上是渐近最优的。此外，给出了有限时间域后悔界。