广义线性上下文老虎机的可证明最优算法

上下文老虎机广泛应用于从新闻推荐到广告以及Web搜索的互联网服务中。广义线性模型（特别是逻辑回归）在许多奖励为二元的的应用中表现出比线性模型更强的性能。然而，迄今为止大多数关于上下文老虎机的理论分析都针对线性老虎机。在这项工作中，我们提出了一种基于上置信界的广义线性上下文老虎机算法，该算法在具有 $d$ 维特征向量的 $T$ 轮中实现了 $\tilde{O}(\sqrt{dT})$ 的遗憾。该遗憾在对数项范围内与极小极大下界相匹配，并且在固定臂数的假设下，比先前最佳结果改进了 $\sqrt{d}$ 倍。我们分析中的一个关键组成部分是为广义线性模型中的极大似然估计建立一个新的、尖锐的有限样本置信界，这可能具有独立的意义。我们还分析了一种更简单的上置信界算法，它在实际应用中很有用，并证明它在某些情况下具有最优遗憾。