基于元数据的多任务Bandit问题与贝叶斯层次模型
机器学习
2021-08-17 v1 人工智能
摘要
如何高效探索是多臂bandit中的核心问题。本文中，我们引入了基于元数据的多任务bandit问题，其中智能体需要求解大量相关的多臂bandit任务，并可以利用一些任务特定特征（即元数据）来跨任务共享知识。作为一个通用框架，我们提出通过贝叶斯层次模型的视角来刻画任务关系，并基于此设计了一种Thompson采样算法，以高效学习任务关系、共享信息并最小化累积遗憾。我们仔细分析了高斯bandit和伯努利bandit两个具体例子。高斯bandit的贝叶斯遗憾清晰地展示了使用我们算法进行信息共享的收益。所提方法进一步得到了大量实验的支持。
引用
@article{arxiv.2108.06422,
title = {Metadata-based Multi-Task Bandits with Bayesian Hierarchical Models},
author = {Runzhe Wan and Lin Ge and Rui Song},
journal= {arXiv preprint arXiv:2108.06422},
year = {2021}
}