面向核化上下文老虎机的通信高效分布式学习
机器学习
2022-10-14 v2
摘要
我们解决了分布式环境下学习核化上下文老虎机（kernelized contextual bandits）的通信效率挑战。尽管近期在通信高效的分布式老虎机学习方面取得了进展，但现有解决方案仅限于多臂老虎机和线性老虎机等简单模型，限制了其实用性。在本文中，我们不考虑从特征到期望奖励存在线性映射的假设，而是考虑非线性奖励映射，让智能体在再生核希尔伯特空间（RKHS）中协作搜索。这给通信效率带来了重大挑战，因为分布式核学习需要传输原始数据，导致通信成本随时间范围 线性增长。我们通过让所有智能体经由一个通用的 Nyström 嵌入进行通信来解决此问题，该嵌入随着收集到更多数据点而自适应更新。我们严格证明了我们的算法能在遗憾值和通信成本上均达到亚线性速率。
引用
@article{arxiv.2206.04835,
title = {Communication Efficient Distributed Learning for Kernelized Contextual Bandits},
author = {Chuanhao Li and Huazheng Wang and Mengdi Wang and Hongning Wang},
journal= {arXiv preprint arXiv:2206.04835},
year = {2022}
}
备注
30 pages, 3 figures