面向带协变量的多臂老虎机的 K 近邻 UCB 算法
机器学习
2018-03-02 v1 机器学习
摘要
在本文中，我们提出并探讨了用于带协变量的多臂老虎机（multi-armed bandits with covariates）的 k 近邻 UCB 算法。我们关注这样一种设定：协变量支撑于具有低内蕴维数的度量空间上，例如嵌入在高维外围特征空间中的流形。该算法概念简单且易于实现。k 近邻 UCB 算法不需要预先知道边际分布的内蕴维数或时间范围。我们证明了 k 近邻 UCB 算法的后悔界（regret bound），其直至对数因子都是极小极大最优的。特别地，该算法自动利用协变量上边际分布的低内蕴维数和数据中的低噪声（表现为间隔条件）。此外，聚焦于有界奖励的情形，我们给出了 k 近邻 KL-UCB 算法相应的后悔界，该算法是 KL-UCB 算法在带协变量的多臂老虎机设定下的类比。最后，我们给出了实证结果，证明了 k 近邻 UCB 和 k 近邻 KL-UCB 均能利用数据支撑于高维特征空间未知子流形上的情形。
引用
@article{arxiv.1803.00316,
title = {The K-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates},
author = {Henry WJ Reeve and Joe Mellor and Gavin Brown},
journal= {arXiv preprint arXiv:1803.00316},
year = {2018}
}
备注
To be presented at ALT 2018