ED2：用于连续控制的环境动态分解世界模型

基于模型的强化学习（MBRL）相较于无模型 RL 在实践中取得了显著的样本效率，但其性能常受模型预测误差存在的限制。为减小模型误差，标准 MBRL 方法训练单一精心设计的网络来拟合整个环境动态，但这浪费了可分别建模的多个子动态上的丰富信息，使我们可以更准确地构建世界模型。本文提出环境动态分解（ED2），一种以分解方式对环境建模的新型世界模型构建框架。ED2 包含两个关键组件：子动态发现（SD2）与动态分解预测（D2P）。SD2 自动发现环境中的子动态，随后 D2P 遵循子动态构建分解的世界模型。ED2 可轻松与现有 MBRL 算法结合，实证结果表明，在与最先进 MBRL 算法结合时，ED2 显著减小模型误差、增加样本效率，并在各类连续控制任务上取得更高的渐近性能。我们的代码已开源，可在 https://github.com/ED2-source-code/ED2 获取。