具有噪声上下文的随机老虎机 Thompson 采样：信息论遗憾分析
机器学习
2024-03-26 v2 机器学习
摘要
我们探索了一个随机上下文线性老虎机问题，其中智能体通过具有未知噪声参数的噪声信道，观测到真实上下文含噪声、受损的版本。我们的目标是设计一种动作策略，使其能够近似于“预言机”的动作策略，该预言机能够获取奖励模型、信道参数以及从观测到的含噪声上下文中得出的真实上下文的预测分布。在贝叶斯框架下，我们针对具有高斯上下文噪声的高斯老虎机引入了一种 Thompson 采样算法。采用信息论分析，我们展示了我们的算法相对于预言机动作策略的贝叶斯遗憾。我们还将该问题扩展到智能体在获得奖励后经过一定延迟才观测到真实上下文的场景，并表明延迟的真实上下文会导致更低的贝叶斯遗憾。最后，我们实证展示了所提出算法相较于基线的性能。
引用
@article{arxiv.2401.11565,
title = {Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis},
author = {Sharu Theresa Jose and Shana Moothedath},
journal= {arXiv preprint arXiv:2401.11565},
year = {2024}
}