最优批处理线性赌博机

我们针对批处理线性赌博机问题引入了E$^4$算法，该算法采用了探索-估计-消除-利用（Explore-Estimate-Eliminate-Exploit）框架。通过适当选择探索率，我们证明E$^4$仅需$O(\log\log T)$个批次即可实现有限时间极小化最优遗憾，并且当$T\rightarrow\infty$时仅需$3$个批次即可实现渐近最优遗憾，其中$T$是时间范围。我们进一步证明了线性上下文赌博机批次复杂度的下界，表明任何渐近最优算法在$T\rightarrow\infty$时预期至少需要$3$个批次，这表明E$^4$同时实现了遗憾和批次复杂度的渐近最优性。据我们所知，E$^4$是首个在具有相应最优批次复杂度的同时，同时实现极小化和渐近最优遗憾的线性赌博机算法。此外，我们表明，通过另一种探索率选择，E$^4$可实现实例相关的遗憾界，最多需要$O(\log T)$个批次，并保持极小化最优性和渐近最优性。我们在随机生成的实例和具有挑战性的\textit{End of Optimism}实例上进行了彻底的实验评估，后者被证明对基于乐观的算法难以学习。实验结果表明，E$^4$在遗憾最小化、批次复杂度和计算效率方面始终优于基线算法。