具有极小极大最优通信成本的分布式上下文线性bandit
机器学习
2022-12-09 v2 机器学习
摘要
我们研究具有随机上下文的分布式上下文线性bandit问题，其中 个智能体协作在 轮过程中求解一个具有 维特征的线性bandit优化问题。对于该问题，我们推导出了任何在遗憾最小化设置下最优运行的算法在通信成本上的首个信息论下界 。随后我们提出了 LinUCB 算法的分布式批量消除版本 DisBE-LUCB，其中智能体通过中央服务器彼此共享信息。我们证明了 DisBE-LUCB 的通信成本在对数因子范围内匹配我们的下界。特别地，对于已知上下文分布的场景，DisBE-LUCB 的通信成本仅为 ，其遗憾为 ，其阶数与针对 轮的最优单智能体算法所产生的相同。我们也给出了上下文分布仅可被估计的实际设置下的类似界。因此，我们提出的算法在\emph{遗憾和通信成本两方面}均近乎极小极大最优。最后，我们提出了 DecBE-LUCB，即 DisBE-LUCB 的完全去中心化版本，其在无中央服务器的情况下运行，智能体通过精心设计的共识过程与\emph{直接邻居}共享信息。
引用
@article{arxiv.2205.13170,
title = {Distributed Contextual Linear Bandits with Minimax Optimal Communication Cost},
author = {Sanae Amani and Tor Lattimore and András György and Lin F. Yang},
journal= {arXiv preprint arXiv:2205.13170},
year = {2022}
}