PriorZero：将语言先验与世界模型集成用于决策

利用大型语言模型（Large Language Models, LLMs）的丰富世界知识来增强强化学习（Reinforcement Learning, RL）智能体，是一个通往通用智能的有前景的路径。然而，一个根本性的 prior-dynamics 不匹配阻碍了现有方法：静态的 LLM 知识无法直接适应 long-horizon 任务的复杂转变动力学。使用 LLM priors 作为固定 policy 会限制 exploration 的多样性，因为 prior 对 environment-specific dynamics 盲目；而端到端 fine-tuning 则 suffer from optimization instability 和 credit assignment 问题。为桥接这一差距，我们提出 PriorZero，一个统一的框架，将 LLM 派生的概念先验集成到基于 world-model 的 planning 中，通过一种 decoupled rollout-training design 实现。 在 rollout 阶段，一种 novel root-prior injection mechanism 将 LLM priors 仅在 Monte Carlo Tree Search（MCTS）的 root 节点上集成，聚焦于在语义上有 promise 的 action 上进行 search，同时保持 world model 的 deep lookahead 能力。在 training 阶段，PriorZero 将 world-model learning 从 LLM adaptation 中解耦：world model 持续在 interaction data 上 refined，以 jointly improve its dynamics、policy 和 value predictions，然后利用其 value 估计提供 fine-grained credit assignment signal，以 stable LLM fine-tuning 通过 alternating optimization 实现。 在包括 Jericho 中的 text-based adventure games 和 BabyAI 中的 instruction-following gridworld 任务的 diverse benchmarks 上进行实验，结果表明 PriorZero 在 exploration efficiency 和 asymptotic performance 上均一致改进，建立了一个 LLM-empowered decision-making 的有前景的框架。我们的 code 可在 https://github.com/opendilab/LightZero 上获取。