面向先知不等式与潘多拉魔盒问题的赌博机算法

先知不等式与潘多拉魔盒问题是基础随机问题，在机制设计、在线算法、随机优化、最优停止与运筹学中有应用。这些工作的通常假设是：$n$ 个底层随机变量的概率分布作为算法输入给定。由于实践中这些分布需被学习，我们开创了在多臂赌博机模型中研究此类随机问题的先河。在多臂赌博机模型中，我们于 $T$ 轮内与 $n$ 个未知分布交互：在第 $t$ 轮我们执行策略 $x^{(t)}$ 并接收关于 $x^{(t)}$ 性能的局部（赌博机）反馈。目标是最小化后悔值，即 $T$ 轮中已知分布的最优算法总价值与从局部反馈学习分布的我们算法总价值之差。我们的主要结果给出了先知不等式与潘多拉魔盒问题近最优的 $\tilde{O}(\mathsf{poly}(n)\sqrt{T})$ 总后悔值算法。我们的证明通过维护最优策略未知指标的置信区间进行。探索-利用权衡使我们无法直接精炼这些置信区间，故主要技术是设计一个可在执行低后悔赌博机策略时学习的后悔上界。