具有深度表示与浅层探索的神经方差感知对决老虎机

本文通过提出利用神经网络逼近非线性效用函数的方差感知算法，来解决上下文对决老虎机问题。我们的方法采用方差感知探索策略，该策略自适应地考虑了成对比较中的不确定性，同时仅依赖于最后一层可学习参数的梯度。这种设计在 Upper Confidence Bound (UCB) 和 Thompson Sampling (TS) 框架下都有效地平衡了探索-利用权衡。因此，在标准假设下，我们建立了理论保证，表明我们的算法对于足够宽的神经网络实现了阶为 $\bigol\lt(d \sqrt{\sum_{t=1}^T \sigma_t^2} + \sqrt{dT}\rt)$ 的次线性累积平均遗憾，其中 $d$ 是上下文维度，$\sigma_t^2$ 是第 $t$ 轮比较的方差，$T$ 是总轮数。我们还通过实验验证了我们的方法具有合理的计算效率，并在具有非线性效用的合成任务和真实世界任务中均实现了次线性遗憾，优于现有方法。