混合效应Thompson采样
机器学习
2023-03-07 v3 机器学习
摘要
情境化赌博机(contextual bandit)是一种流行的在线不确定性决策学习框架。在实践中，动作数量巨大且它们的期望收益相互关联。本工作中，我们引入一个通用框架，通过混合效应模型捕捉此类关联，其中动作经由多个共享效应参数相互关联。为利用该结构进行高效探索，我们提出混合效应Thompson采样(meTS)并界定其贝叶斯遗憾。该遗憾界包含两项，一项用于学习动作参数，另一项用于学习共享效应参数。这些项反映了我们模型的结构与先验的质量。我们的理论发现通过使用合成与真实世界问题得到了实证验证。我们还提出了许多具有实际意义的扩展。尽管它们不附带理论保证，但在实证中表现良好，并展示了所提框架的通用性。
关键词
引用
@article{arxiv.2205.15124,
title = {Mixed-Effect Thompson Sampling},
author = {Imad Aouali and Branislav Kveton and Sumeet Katariya},
journal= {arXiv preprint arXiv:2205.15124},
year = {2023}
}