度量空间中遗憾最小化的尖锐二分性

Lipschitz多臂赌博机(MAB)问题通过假设给定先验信息(即某些策略对之间期望收益差异的上界)来推广经典多臂赌博机问题。(Lai and Robbins 1985)和(Auer et al. 2002)的经典结果表明,在有限度量空间上的Lipschitz MAB问题具有对数遗憾界。关于连续臂赌博机问题及其推广的最新结果表明,对于许多无限度量空间(如单位区间),下界为$\sqrt{t}$或更强。这种二分性是普遍的吗?我们证明答案是肯定的:对于每个度量空间,Lipschitz MAB算法的最优遗憾要么被任意$f\in \omega(\log t)$所上界,要么被任意$g\in o(\sqrt{t})$所下界。也许令人惊讶的是,这种二分性并不与有限和无限度量空间之间的区分相吻合;相反,它取决于度量空间的完备化是否紧致且可数。我们的证明将在线学习中的上界和下界技术与经典拓扑概念(如完美集和Cantor-Bendixson定理)联系起来。在许多其他结果中,我们展示了“完全反馈”(即“最佳专家”)版本的类似二分性。