基于深层表示的方差感知线性 UCB 用于神经网络情境式多臂老虎机

通过利用深度神经网络的表示能力，神经上置信上限 (UCB) 算法在情境式多臂老虎机中取得了成功。为进一步平衡探索与开发，我们提出了 Neural-$\sigma^2$-LinearUCB，这是一种利用 $\sigma^2_t$（即第 t 轮奖励噪声方差的上界）来增强 UCB 不确定性量化质量的方差感知算法，从而实现更好的情感性能。我们提供了以方差上界 $\sigma^2_t$ 为 oracle 的版本，以及具有新颖估计的实用版本。理论上，我们为两个版本提供了严格的后悔分析，证明我们的 oracle 算法在神经情境式多臂老虎机设置下比其他神经-UCB 算法具有更好的后悔保证。实验上，我们的实用方法在计算效率方面与之相似，却在多个标准设置下（包括合成数据、UCI、MNIST 和 CIFAR-10 数据集） outperform by having better calibration and lower regret。