MCTS中计算的静态与动态价值
人工智能
2020-11-20 v2 机器学习
摘要
蒙特卡洛树搜索（MCTS）是应用最广泛的规划方法之一，并推动了人工智能许多近期的进展。在MCTS中，通常执行计算（即模拟）以收集关于动作可能未来后果的信息，并据此作出选择。许多流行的MCTS方法如UCT及其变体通过权衡探索与利用来决定执行哪些计算。本工作中，我们采取更直接的途径，基于计算对最终所选动作质量的预期影响来显式量化计算的价值。我们的方法在两方面超越了现有基于计算价值方法的“短视”局限：（I）我们能够考虑非即时（即未来）计算的影响（II）对非即时动作的影响。我们证明了在若干假设下贪心优化计算价值的策略是最优的，并取得了与最先进水平相竞争的结果。
引用
@article{arxiv.2002.04335,
title = {Static and Dynamic Values of Computation in MCTS},
author = {Eren Sezener and Peter Dayan},
journal= {arXiv preprint arXiv:2002.04335},
year = {2020}
}
备注
Presented in UAI 2020