利用因果抽象加速复杂赌博机问题中的决策
机器学习
2025-09-05 v1
摘要
尽管现实世界的决策问题常可在不同抽象层级被编码为因果多臂赌博机（CMAB），但缺乏一种利用各抽象层级信息与计算优势的通用方法。在本文中，我们提出了 AT-UCB 算法，该算法能高效利用在不同抽象层级定义的 CMAB 问题实例间的共享信息。更具体地说，AT-UCB 利用因果抽象（CA）理论在一个低成本可模拟且粗粒度的 CMAB 实例中进行探索，随后在目标 CMAB 中一组受限的潜在最优动作上采用传统的置信上界（UCB）算法，与经典 UCB 算法相比显著降低了累积遗憾。我们通过新颖的累积遗憾上界从理论上说明了 AT-UCB 的优势，并通过将 AT-UCB 应用于具有不同分辨率和计算成本的流行病学模拟器从经验上加以说明。
引用
@article{arxiv.2509.04296,
title = {Using causal abstractions to accelerate decision-making in complex bandit problems},
author = {Joel Dyer and Nicholas Bishop and Anisoara Calinescu and Michael Wooldridge and Fabio Massimo Zennaro},
journal= {arXiv preprint arXiv:2509.04296},
year = {2025}
}