理解MCTS UCT选择策略演化效果的研究
人工智能
2023-02-08 v1
摘要
Monte Carlo Tree Search (MCTS) 是一种用于搜索最优决策的采样最佳优先方法。MCTS的成功在很大程度上取决于MCTS统计树的构建方式，而选择策略在其中发挥着基础性作用。一种表现尤为出色且在MCTS中被广泛采用的特定选择策略是树的置信区间上界（Upper Confidence Bounds for Trees），简称为UCT。社区还提出了其他更复杂的界，旨在提升MCTS在特定问题上的性能。因此，显而易见的是，尽管MCTS UCT总体表现良好，但某些变体可能表现更佳。鉴于此，已有大量工作提出演化出用于MCTS的选择策略。尽管这些工作都颇具启发性，但由于它们仅聚焦于单一类型的问题，均未进行深入分析以阐明在何种情况下MCTS UCT的演化替代方案在MCTS中是有益的。与此形成鲜明对比的是，本工作使用了五种不同性质的函数，从单峰函数、多峰函数到欺骗函数。我们展示了MCTS UCT的演化在多峰和欺骗场景中如何带来益处，而在单峰场景中MCTS UCT具有鲁棒性，且在本研究所用的其余场景中也具有竞争力。
引用
@article{arxiv.2302.03352,
title = {Towards Understanding the Effects of Evolving the MCTS UCT Selection Policy},
author = {Fred Valdez Ameneyro and Edgar Galvan},
journal= {arXiv preprint arXiv:2302.03352},
year = {2023}
}
备注
8 pages, double column, 6 figures, 1 table, conference. arXiv admin note: substantial text overlap with arXiv:2208.13589, arXiv:2112.09697