核与神经赌博机中的纯探索
机器学习
2022-03-18 v2 机器学习
摘要
我们研究赌博机中的纯探索问题，其中特征表示的维度可能远大于臂的数量。为克服维度灾难，我们提出将每个臂的特征表示自适应地嵌入到低维空间中，并谨慎处理由此引发的模型误设定。我们的方法在概念上与现有工作截然不同，后者要么只能处理低维线性赌博机，要么被动应对模型误设定。我们展示了该方法在两个此前研究不足的纯探索设定中的应用：(1) 奖励函数属于一个可能为无限维的再生核希尔伯特空间；(2) 奖励函数是非线性的且可由神经网络逼近。我们的主要结果给出了仅依赖于核或神经表示中特征空间有效维度的样本复杂度保证。在合成与真实世界数据集上进行的广泛实验证明了我们方法的有效性。
引用
@article{arxiv.2106.12034,
title = {Pure Exploration in Kernel and Neural Bandits},
author = {Yinglun Zhu and Dongruo Zhou and Ruoxi Jiang and Quanquan Gu and Rebecca Willett and Robert Nowak},
journal= {arXiv preprint arXiv:2106.12034},
year = {2022}
}