度量空间中的老虎机和专家问题

在多臂老虎机问题中，在线算法在一系列试验中从一组策略中选择，以最大化所选策略的总收益。虽然小有限策略集的老虎机算法性能已被充分理解，但大策略集的老虎机问题仍然是活跃研究的主题，其动机来自在线拍卖和网络广告等实际应用。这类研究的目标是识别广泛而自然的策略集和收益函数类别，从而能够设计高效的解决方案。本文研究了多臂老虎机问题的一个非常一般的设置，其中策略构成一个度量空间，收益函数关于该度量满足Lipschitz条件。我们将此问题称为“Lipschitz MAB问题”。我们给出了该设置下多臂老虎机问题的解。即，对每个度量空间，我们定义一个等距不变量，它从下方限制了该度量空间下Lipschitz MAB算法的性能，并给出一个可以任意接近该下界的算法。此外，我们的技术对良性收益函数给出了更好的结果。我们还处理了问题的全反馈（“最佳专家”）版本，其中每轮后所有臂的收益都被揭示。