快速且遗憾最优的最佳臂识别：基本极限与低复杂度算法

本文考虑一个具有双重目标的随机多臂老虎机（MAB）问题：(i) 快速识别并锁定最优臂，以及 (ii) 在连续 $T$ 轮的序列中最大化奖励。尽管每个目标都已分别被充分研究，即针对 (i) 的最佳臂识别和针对 (ii) 的遗憾最小化，但尽管具有实际重要性，同时实现这两个目标仍是一个开放问题。本文提出遗憾最优最佳臂识别（ROBAI），旨在实现这些双重目标。为解决具有预定停止时间和自适应停止时间要求的 ROBAI，我们分别提出一种称为 EOCP 的算法及其变体，它们不仅在高斯和一般老虎机中实现了渐近最优遗憾，而且在预定停止时间下于 $\mathcal{O}(\log T)$ 轮内、在自适应停止时间下于 $\mathcal{O}(\log^2 T)$ 轮内锁定最优臂。我们进一步刻画了 ROBAI 锁定时间（等价于样本复杂度）的下界，表明 EOCP 及其变体在预定停止时间下是样本最优的，在自适应停止时间下几乎样本最优。数值结果证实了我们的理论分析，并揭示了经典 UCB 算法所携带的一种有趣的“过度探索”现象，即尽管 EOCP 比 UCB 早得多地停止探索（$\mathcal{O}(\log T)$ 对比 $\mathcal{O}(T)$），但其遗憾更小，这表明过度探索是不必要的，并可能对系统性能有害。