X臂赌博机

我们考虑随机赌博机的一种推广，其中臂集$\cX$可以是任意可测空间，且平均收益函数相对于决策者已知的一个相异函数是“局部Lipschitz”的。在此条件下，我们构造了一个称为HOO（分层乐观优化）的臂选择策略，对于一大类问题，其遗憾界相比先前结果有所改进。特别地，我们的结果表明，如果$\cX$是欧几里得空间中的单位超立方体，且平均收益函数具有有限个全局最大值，在这些最大值附近函数的行为具有已知光滑度的局部连续性，那么HOO的期望遗憾被一个对数因子以内的$\sqrt{n}$所界定，即遗憾的增长速率与空间的维数无关。我们还证明了当相异函数是度量时，我们的算法具有极小极大最优性。我们的基本策略在时间步数上具有二次计算复杂度，且不依赖于加倍技巧。我们还引入了一种修改策略，该策略依赖于加倍技巧，但运行时间为线性对数时间。这两个结果相对于先前方法都有所改进。