部分结构发现足以实现因果多臂赌博机中的无悔学习

在多臂赌博机设定中，关于决策变量与奖励变量之间关系的因果知识可以加速最优决策的学习。现有工作通常假设因果图是已知的，但这在事先可能并不总是可用的。受此挑战启发，我们关注底层因果图未知且可能包含潜变量混淆因子的因果赌博机问题。在没有潜变量混淆因子的情况下，对奖励节点的父节点进行干预是最优的，但一般情况下并非如此。相反，必须考虑一组可能最优的臂/干预，每个都是奖励节点祖先的一个特殊子集，因此发现奖励节点父节点之外的因果结构至关重要。对于遗憾最小化，我们发现发现完整的因果结构是不必要的；然而，现有工作并未提供因果图所需的充分必要组分。我们正式刻画了为确保所有可能最优臂被正确识别而需要检测或学习的充分必要潜变量混淆因子集合。我们还提出了一种基于有限样本学习因果图的随机算法，为任意所需置信水平提供了样本复杂度保证。在因果赌博机设定中，我们提出了一种两阶段方法。第一阶段，我们学习奖励节点祖先上的诱导子图以及充分必要的潜变量混淆因子子集，以构建可能最优臂的集合。该阶段产生的遗憾随因果图中节点数量呈多项式增长。第二阶段涉及应用标准赌博机算法，如 UCB 算法。我们还为两阶段方法建立了遗憾界，该界关于轮数是次线性的。