元世界条件神经过程

我们提出元世界条件神经过程（MW-CNP），一种条件世界模型生成器，它利用条件神经过程的样本效率与可扩展性，使智能体能够从其自身的“幻觉”中采样。我们旨在尽可能减少测试时智能体与目标环境的交互。为减少测试时所需样本数，我们首先从具有隐藏参数的测试环境的单次 rollout 中获得转移动态的一个潜在表示。随后，我们通过与元世界模型生成的“幻觉”交互来获得用于少样本学习的 rollout。利用 MW-CNP 的世界模型表示，元强化学习智能体相较于基线，可用显著更少地从目标环境收集的样本适应未见过目标环境。我们强调，智能体在训练与测试全程均无法访问任务参数，且 MW-CNP 在元训练期间记录的离线交互数据上训练。