带预算的组合多臂老虎机
机器学习
2022-02-17 v2 多智能体系统
摘要
我们考虑一种带预算的组合多臂老虎机设定，其中每轮算法选择一个由一个或多个臂组成的超臂。目标是在有限预算内所有轮次结束后最小化总期望后悔。该文献中现有技术要么固定每轮预算，要么固定每轮拉取的臂数。我们的设定更为一般：算法可根据剩余预算和剩余轮数，决定每轮拉取多少臂。首先，我们提出CBwK-Greedy-UCB算法，其使用贪心技术CBwK-Greedy将臂分配到各轮。接着，我们提出将该问题归约为单次拉取的背包多臂老虎机(BwK)。借助此归约，我们提出巧妙使用PrimalDualBwK的CBwK-LPUCB。我们严格证明了CBwK-LP-UCB的后悔界。我们通过实验比较两种算法，观察到CBwK-Greedy-UCB比CBwK-LP-UCB性能渐进更优。我们还展示了在极高预算下，后悔趋于零。
引用
@article{arxiv.2202.03704,
title = {Budgeted Combinatorial Multi-Armed Bandits},
author = {Debojit Das and Shweta Jain and Sujit Gujar},
journal= {arXiv preprint arXiv:2202.03704},
year = {2022}
}
备注
15 pages, 4 figures. To be published in AAMAS 2022. arXiv admin note: text overlap with arXiv:1305.2545 by other authors