Hieros：基于结构化状态空间序列世界模型的层次化想象

现代深度强化学习（DRL）算法面临的最大挑战之一是样本效率。许多方法通过学习世界模型以完全在想象中训练智能体，从而在训练期间消除直接与环境交互的需要。然而，这些方法往往缺乏想象准确性、探索能力或运行效率。我们提出 Hieros，一种层次化策略，学习时间抽象的世界表示并在隐空间中以多个时间尺度想象轨迹。Hieros 使用基于 S5 层的世界模型，在训练期间并行预测下一世界状态，并在环境交互期间迭代预测。由于 S5 层的特殊性质，我们的方法可以并行训练并在想象期间迭代预测下一世界状态。这使得训练比基于 RNN 的世界模型更高效，想象比基于 Transformer 的世界模型更高效。我们表明，我们的方法在 Atari 100k 基准上以均值和中值归一化人类分数衡量优于当前最优（SOTA），并且我们提出的世界模型能够非常准确地预测复杂动态。我们还表明，与现有方法相比，Hieros 展现出更优的探索能力。