具有臂组图的神经 Bandit 算法
机器学习
2022-06-13 v2 机器学习
摘要
上下文 bandit 旨在基于一组臂的上下文信息从中识别出奖励最高的最优臂。受臂通常表现出群组行为且群组间存在相互影响这一事实的启发，我们引入一种新模型——臂组图（AGG），其中节点表示臂的组，带权边刻画组间相关性。为利用 AGG 中的丰富信息，我们提出一种 bandit 算法 AGG-UCB，其中设计神经网络来估计奖励，并提议利用图神经网络（GNN）学习具有相关性的臂组的表示。为解决 bandit 中的利用-探索困境，我们推导了基于神经网络（利用）构建的用于探索的新上置信界（UCB）。此外，我们证明 AGG-UCB 在过参数化神经网络下可达到近最优后悔界，并给出了全连接层 GNN 的收敛分析，后者可能具有独立意义。最后，我们在多个公开数据集上针对最先进的基线进行了大量实验，显示了所提算法的有效性。
引用
@article{arxiv.2206.03644,
title = {Neural Bandit with Arm Group Graph},
author = {Yunzhe Qi and Yikun Ban and Jingrui He},
journal= {arXiv preprint arXiv:2206.03644},
year = {2022}
}
备注
Accepted to SIGKDD 2022