通过自由能最小化提升 MCTS 性能
人工智能
2025-01-27 v1
摘要
主动推断（Active Inference）基于自由能原理，为理解在不确定环境中如何平衡探索与目标导向行为提供了强大的视角。本文我们提出一种新的规划框架，将蒙特卡洛树搜索（MCTS）与主动推断目标相结合，以系统性地减少情感不确定性，同时追求外部奖励。我们的关键洞见是，MCTS 以其搜索效率著称，天然地可扩展以整合自由能最小化，通过将预期奖励与信息收益相融合来实现。具体而言，采用交叉熵方法（CEM）优化根节点处的动作提议，而树的扩展则利用奖励建模结合内在探索奖励。这种协同效应使我们的规划器能够在规划过程中保持一致的价值估计和不确定性估计，而不牺牲计算可行性。实验方面，我们在多样化的连续控制任务上对我们的规划器进行基准测试，结果显示其在独立的 CEM 和带随机抽样的 MCTS 方面都显现出性能提升。
引用
@article{arxiv.2501.13083,
title = {Boosting MCTS with Free Energy Minimization},
author = {Mawaba Pascal Dao and Adrian M. Peter},
journal= {arXiv preprint arXiv:2501.13083},
year = {2025}
}