上下文老虎机的高效核 UCB 算法
机器学习
2022-02-14 v1
摘要
在本文中，我们解决了上下文老虎机中核化 UCB 算法的计算效率问题。标准方法需要 O(CT^3) 的复杂度，其中 T 是时域，常数 C 与优化 UCB 规则有关，我们提出了一种面向大规模问题的高效上下文算法。具体而言，我们的方法依赖于上下文与动作的联合核嵌入的增量 Nystrom 近似。这使我们能达到 O(CTm^2) 的复杂度，其中 m 是 Nystrom 点的数量。为了恢复与标准核化 UCB 算法相同的后悔界，m 需要取问题有效维度的量级，该维度至多为 O(\sqrt(T)) 且在有些情况下近乎常数。
引用
@article{arxiv.2202.05638,
title = {Efficient Kernel UCB for Contextual Bandits},
author = {Houssam Zenati and Alberto Bietti and Eustache Diemert and Julien Mairal and Matthieu Martin and Pierre Gaillard},
journal= {arXiv preprint arXiv:2202.05638},
year = {2022}
}
备注
To appear at AISTATS2022