具有深度表示与浅层探索的神经上下文老虎机
机器学习
2020-12-04 v1 机器学习
摘要
我们研究一类通用的上下文老虎机，其中每个上下文-动作对关联一个原始特征向量，但奖励生成函数未知。我们提出一种新颖的学习算法，利用深度ReLU神经网络的最后隐藏层转换原始特征向量（深度表示学习），并在最后线性层中使用上置信界（UCB）方法进行探索（浅层探索）。我们证明在标准假设下，所提算法达到的有限时间后悔界，其中为学习时域。与现有神经上下文老虎机算法相比，我们的方法计算效率更高，因其仅需在深度神经网络的最后层进行探索。
引用
@article{arxiv.2012.01780,
title = {Neural Contextual Bandits with Deep Representation and Shallow Exploration},
author = {Pan Xu and Zheng Wen and Handong Zhao and Quanquan Gu},
journal= {arXiv preprint arXiv:2012.01780},
year = {2020}
}
备注
28 pages, 1 figure, 1 table