组合神经 Bandit

我们考虑一个上下文组合 bandit 问题，其中每轮学习智能体选择一组臂，并根据所选臂的得分接收关于这些臂的反馈。臂的得分是该臂特征的未知函数。用深度神经网络逼近该未知得分函数，我们提出算法：组合神经 UCB（$\texttt{CN-UCB}$）与组合神经 Thompson 采样（$\texttt{CN-TS}$）。我们证明 $\texttt{CN-UCB}$ 达到 $\tilde{\mathcal{O}}(\tilde{d} \sqrt{T})$ 或 $\tilde{\mathcal{O}}(\sqrt{\tilde{d} T K})$ 后悔界，其中 $\tilde{d}$ 为神经正切核矩阵的有效维度，$K$ 为臂子集的大小，$T$ 为时间范围。对于 $\texttt{CN-TS}$，我们采用乐观采样技术以确保所采样组合动作的乐观性，达到 $\tilde{\mathcal{O}}(\tilde{d} \sqrt{TK})$ 的最坏情况（频率派）后悔界。据我们所知，这些是首批具有后悔性能保证的组合神经 bandit 算法。特别地，$\texttt{CN-TS}$ 是首个针对一般上下文组合 bandit 问题具有最坏情况后悔保证的 Thompson 采样算法。数值实验证明了我们所提算法的优越性能。