非平稳线性上下文 Bandit 的加权序贯贝叶斯推断
机器学习
2025-10-03 v3 机器学习
摘要
我们通过序贯贝叶斯推断的视角研究非平稳线性上下文 bandit。现有算法通常依赖于加权正则最小二乘（WRLS）目标，而我们研究加权序贯贝叶斯（WSB），其维护关于随时间变化的奖励参数的后验分布。我们的主要贡献是为 WSB 后验提出了一种新颖的集中不等式，该不等式引入了一个依赖于先验的项，用于量化初始信念的影响。我们证明了这种影响随时间衰减，并推导出易于处理的上界，使得该结果在分析和算法设计中均具有实用性。基于 WSB，我们引入了三种算法：WSB-LinUCB、WSB-RandLinUCB 和 WSB-LinTS。我们建立了频率学派遗憾保证：WSB-LinUCB 匹配了已知最佳的基于 WRLS 的保证，而 WSB-RandLinUCB 和 WSB-LinTS 则在此基础上有所改进，同时均保持了基于 WRLS 算法的计算效率。
引用
@article{arxiv.2307.03587,
title = {Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits},
author = {Nicklas Werge and Yi-Shan Wu and Abdullah Akgül and Melih Kandemir},
journal= {arXiv preprint arXiv:2307.03587},
year = {2025}
}