经验贝叶斯多臂乐问题

在语境型多臂乐问题中进行多任务学习因其在利用共享结构和任务特定异质性来增强跨多个相关任务的决策能力而引起了广泛关注。在本文中，我们提出了一种用于各种乐问题学习的新型层次贝叶斯框架。该框架通过层次贝叶斯模型捕捉不同乐问题实例之间的异质性和相关性，实现了有效的信息共享，同时容纳实例特定的变异性。与忽略跨乐问题协方差结构学习的先前方法不同，我们引入了经验贝叶斯方法来估计先验分布的协方差矩阵。这增强了跨多乐问题学习的实用性和灵活性。基于这一方法，我们开发了两个高效算法：ebmTS（经验贝叶斯多臂乐Thompson抽样）和ebmUCB（经验贝叶斯多臂乐上置置信界），两者都纳入了估计的先验以用于决策过程。我们提供了所提出算法的频率学 regret上界，从而填补了多臂乐问题领域的研究空白。大量在合成和真实世界数据集上的实验表明，我们的算法在复杂环境中表现出优越性能，尤其是在多臂乐问题中实现了较低的累积 regret，凸显了其在平衡探索与开发中的有效性。