具有自适应上下文的因果情境 bandits

我们研究了一种因果情境 bandits 的变体，其中情境是根据学习者选择的初始干预而决定的。在每一轮开始时，学习者选择一个初始动作，根据该动作，环境会随机揭示情境。随后，学习者选择最终的动作并获得奖励。在 $T$ 轮与环境的交互后，学习者的目标是学习一个最大化预期奖励的策略（即选择初始动作和最终动作）。本文研究了每种动作对应于对已知因果图中某个节点的干预的特定情况。我们将先前工作从确定性情境设置推广到获得简单 regret 的保证。这通过一种实例相关的因果参数 $\lambda$ 实现，后者刻画了我们的上界。此外，我们证明了我们的简单 regret 对大类实例几乎是紧致的。我们工作的一个关键特点是使用凸优化来解决 bandits 的探索问题。我们还进行实验以验证理论结果，并在项目 GitHub 仓库 https://github.com/adaptiveContextualCausalBandits/aCCB 提供代码。