用于掌握非平稳任务的Lipschitz终身蒙特卡洛树搜索
人工智能
2025-02-04 v1
摘要
蒙特卡洛树搜索（MCTS）通过使用树的上置信界（UCT）平衡探索与利用，在解决复杂规划任务方面已被证明非常有效。然而，现有工作尚未考虑基于MCTS的终身规划，即智能体在其整个运行生命周期内顺序面临一系列非平稳任务——例如，具有变化的转移概率和奖励。本文提出了LiZero，用于使用MCTS进行Lipschitz终身规划。我们提出了自适应UCT（aUCT）的新概念，以根据任务间的Lipschitz连续性以及蒙特卡洛动作采样中的知识置信度，将知识从源任务迁移到新任务的探索/利用中。我们分析了LiZero在提高采样效率方面的加速因子，并开发了高效算法，通过数据驱动和基于模型的方法在线计算aUCT，同时描述了其采样复杂度和误差界限。实验结果表明，LiZero在更快收敛到最优奖励方面（3~4倍）显著优于现有的MCTS和终身学习基线。我们的结果突显了LiZero在动态现实世界环境中推进决策与规划的潜力。
引用
@article{arxiv.2502.00633,
title = {Lipschitz Lifelong Monte Carlo Tree Search for Mastering Non-Stationary Tasks},
author = {Zuyuan Zhang and Tian Lan},
journal= {arXiv preprint arXiv:2502.00633},
year = {2025}
}
备注
6 figures