通过状态占用正则化实现蒙特卡洛树搜索中高效长程探索的可证明方法
机器学习
2024-07-09 v1 机器人学
摘要
蒙特卡洛树搜索（MCTS）在诸多领域取得了成功，但在长程探索方面相较于 Rapidly-Exploring Random Trees 等基于抽样的运动规划算法仍面临挑战。为解决 MCTS 的这些局限性，我们推导了一个基于策略优化的树搜索算法，称为{\it Volume-MCTS}，该算法采用状态占用 measure 正则化。我们表明，基于计数的探索和基于抽样的运动规划可作为此状态占用 measure 正则化目标的近似解。我们在几个机器人导航问题上进行测试，发现 Volume-MCTS 在 AlphaZero 之外，显示出显著更好的长程探索特性。
引用
@article{arxiv.2407.05511,
title = {Provably Efficient Long-Horizon Exploration in Monte Carlo Tree Search through State Occupancy Regularization},
author = {Liam Schramm and Abdeslam Boularias},
journal= {arXiv preprint arXiv:2407.05511},
year = {2024}
}
备注
To be published in ICML 2024 Conference Proceedings