带打包与覆盖约束的情境_bandit：一种基于回归的模块化拉格朗日方法
机器学习
2024-11-27 v8 机器学习
摘要
我们考虑带线性约束的情境_bandit（CBwLC），这是情境_bandit的一种变体，其中算法消耗多种资源，且总消耗受线性约束限制。该问题推广了带背包的情境_bandit（CBwK），允许打包与覆盖约束，以及正负资源消耗。我们给出了首个基于回归预言机的CBwLC（或CBwK）算法。该算法简单、计算高效，且在温和假设下统计最优。此外，我们给出了CBwLC（或CBwK）的首个超越随机环境的消失后悔保证。我们通过确定一个更弱（且可以说更公平）的基准进行比较，规避了先前工作中的强不可能性结果。我们的算法建立在LagrangeBwK（Immorlica等人，FOCS 2019）——一种用于CBwK的基于拉格朗日的技术，以及SquareCB（Foster和Rakhlin，ICML 2020）——一种用于情境_bandit的基于回归的技术之上。我们的分析利用了这两种技术固有的模块化。
引用
@article{arxiv.2211.07484,
title = {Contextual Bandits with Packing and Covering Constraints: A Modular Lagrangian Approach via Regression},
author = {Aleksandrs Slivkins and Xingyu Zhou and Karthik Abinav Sankararaman and Dylan J. Foster},
journal= {arXiv preprint arXiv:2211.07484},
year = {2024}
}
备注
A preliminary version of this paper, authored by A. Slivkins, K.A. Sankararaman and D.J. Foster, has been published at COLT 2023. The present version (since Jun'24) features an important improvement, due to Xingyu Zhou. The Oct'24 version fixes an inaccuracy in Section 6 when the analysis from Section 4 is invoked