认知蒙特卡洛树搜索
机器学习
2026-05-18 v6 人工智能
摘要
AlphaZero/MuZero（A/MZ）系列算法通过将蒙特卡洛树搜索（MCTS）与学习模型相结合，在多个具有挑战性的领域中取得了显著成功。学习模型引入了认知不确定性，其由有限数据学习引起，并有助于在稀疏奖励环境中进行探索。然而，MCTS 并未考虑该不确定性的传播。为此，我们引入认知 MCTS（EMCTS）：一种有理论依据的方法，用于在搜索中考虑认知不确定性，并利用搜索实现深度探索。在 SUBLEQ 汇编语言编写代码的稀疏奖励挑战性任务中，结合我们方法的 AZ 相比基线 AZ 取得了显著更高的样本效率。采用 EMCTS 的搜索解决了常用难探索基准 Deep Sea 的若干变体——基线 A/MZ 实际上无法求解——且远比不使用搜索进行不确定性估计的等价方法更快，展示了利用搜索进行认知不确定性估计的显著益处。
引用
@article{arxiv.2210.13455,
title = {Epistemic Monte Carlo Tree Search},
author = {Yaniv Oren and Viliam Vadocz and Matthijs T. J. Spaan and Wendelin Böhmer},
journal= {arXiv preprint arXiv:2210.13455},
year = {2026}
}