中文

线性因果多臂老虎机:未知图谱与软干预

机器学习 2024-11-05 v1 机器学习

摘要

设计因果多臂老虎机算法依赖于两个核心假设类别:(i)关于底层因果图信息的程度,和(ii)关于干预统计模型信息的程度。近期已有大量进展针对这两个类别中的一个或多个进行假设-free化。包括假设已知图但干预分布未知,以及假设未知图但仅能访问受限的硬/do\operatorname{do}干预——这消除了随机性和祖先依赖性。尽管如此,问题仍未在一般形式下得到解决,即图谱未知且干预模型未知。本文解决了这一问题,证明在具有N个节点、最大入度d和最大因果路径长度L的图中,在T次交互轮次后,regret上限规模为O~((cd)L12T+d+RN)\tilde{\mathcal{O}}((cd)^{L-\frac{1}{2}}\sqrt{T} + d + RN),其中c>1为常数,R为干预功率的度量。还建立了通用的minimax下界,规模为Ω(dL32T)\Omega(d^{L-\frac{3}{2}}\sqrt{T})。重要的是,随着T的增长,图的规模N对regret的影响呈递减。这些界限在T上具有匹配行为,对L指数依赖,对d多项式依赖(存在d的差距)。在算法层面,本文提出了一种新颖的设计计算高效因果多臂老虎机(CB)算法的方法,解决了现有使用软干预的CB算法所面临的挑战。

关键词

引用

@article{arxiv.2411.02383,
  title  = {Linear Causal Bandits: Unknown Graph and Soft Interventions},
  author = {Zirui Yan and Ali Tajer},
  journal= {arXiv preprint arXiv:2411.02383},
  year   = {2024}
}

备注

42 pages, 8 figures