针对非精确抽象算法的内部抽象策略探究
人工智能
2025-10-29 v1
摘要
蒙特卡洛树搜索(MCTS)的一个弱点是其样本效率，这可以通过在树搜索中构建和使用状态和/或动作抽象来解决，使得信息可以在同一层的节点之间共享。抽象的主要用途是通过聚合抽象节点的访问次数和返回值来增强树策略中的上置信值(UCB)。然而，这种直接使用抽象的方法并未考虑多种具有相同父节点的动作可能位于同一抽象节点中的情况——这些情况下，所有动作将具有相同的 UCB 值，从而需要一个决定规则。在最新的抽象算法中，如修剪版 On the Go Abstractions(pruned OGA)，这种情况尚未被注意到，隐式地选择了一个随机决定规则。本文提出了几种替代的内部抽象策略，并对其进行了实证评估，其中一些策略在大多数环境和参数设置下均优于随机策略。
引用
@article{arxiv.2510.24297,
title = {Investigating Intra-Abstraction Policies For Non-exact Abstraction Algorithms},
author = {Robin Schmöcker and Alexander Dockhorn and Bodo Rosenhahn},
journal= {arXiv preprint arXiv:2510.24297},
year = {2025}
}