臂与背包之间的对称性：带背包老虎机的原始对偶方法
机器学习
2021-06-24 v3 数据结构与算法
摘要
在本文中，我们研究带背包老虎机(BwK)问题，并开发了一种基于原始对偶的算法，其获得了问题依赖的对数后悔界。BwK 问题将多臂老虎机(MAB)问题扩展以建模拉动每臂所关联的资源配置，现有 BwK 文献主要聚焦于推导渐近最优的无分布后悔界。我们首先研究 BwK 问题底层的原始与对偶线性规划。从这一原始对偶视角，我们发现了臂与背包之间的对称性，并由此提出 BwK 问题的一个新的次优性度量概念。该次优性度量凸显了背包在决定算法后悔中的重要作用，并启发了我们两阶段算法的设计。在第一阶段，算法识别最优臂与紧背包；在第二阶段，其通过自适应过程拉动最优臂来耗尽紧背包。我们的后悔上界涉及所提出的次优性度量，并且对时间域长度 具有对数依赖，对 (臂数)和 (背包数)具有多项式依赖。据我们所知，这是求解一般 BwK 问题的首个问题依赖的对数后悔界。
引用
@article{arxiv.2102.06385,
title = {The Symmetry between Arms and Knapsacks: A Primal-Dual Approach for Bandits with Knapsacks},
author = {Xiaocheng Li and Chunlin Sun and Yinyu Ye},
journal= {arXiv preprint arXiv:2102.06385},
year = {2021}
}