基于隐状态动力学残差的世界模型自适应方法

模拟到现实的强化学习 (RL) 面临着关键挑战，即调和模拟环境与真实环境之间动力学的差异，这会严重降低智能体的性能。一个有前景的做法是学习模拟前向动力学的校正，代表为残差误差函数，但在高维状态（如图像）下操作不可行。为此，我们提出 ReDRAW 方法，该方法在仿真环境中预训练一个基于隐状态的自回归世界模型，并通过对隐状态动力学的残差校正来适配目标环境。借助经校正的世界模型，ReDRAW 使 RL 智能体能够在校正后的动力学下进行想象滚动优化，然后部署到真实世界。在多个基于视觉的 MuJoCo 域以及一个物理机器人视觉车道跟随任务中，ReDRAW 有效地建模了动力学变化，并在数据稀缺的低数据场景中避免了过拟合，其中传统迁移方法会失败。