非参数随机上下文多臂老虎机

我们分析了$K$臂老虎机问题，其中每臂的奖励是基于观测到的上下文在温和非参数假设下的含噪实现。我们针对最优臂辨识得到了紧致结果，并对一种易于实现的改进UCB算法（$k$NN-UCB）给出了次线性后悔界$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$为上下文维度。随后我们给出了依赖于全局内在维度且与外在维度无关的后悔界。我们还讨论了基于期望老虎机性能恢复上下文空间中的拓扑结构，并提供了对无限臂上下文老虎机的扩展。最后，我们通过实验在模拟任务和MNIST图像分类上展示了我们的算法相对于现有多臂老虎机方法的改进。