Dropout 的梦境之地：从习得模拟器到现实的泛化

世界模型（World Model）是用于模拟环境的生成模型。世界模型已证明能够学习强化学习环境的空间与时间表征。在某些情况下，世界模型为智能体提供完全在其自身梦境环境中学习的可能。本工作中，我们探索提升从梦境环境到真实环境的泛化能力（Dream2Real）。我们提出一种通用方法，以较低额外代价改善控制器从神经网络梦境环境迁移至现实的能力。这些改进得益于域随机化（Domain Randomization）的启发，其基本思想是尽可能随机化模拟器而不从根本上改变当前任务。通常，域随机化假定可使用具有可配置参数的预建模拟器，但往往并不具备。通过利用 dropout 训练世界模型，梦境环境能够创建近乎无穷多的不同梦境环境。dropout 的既往用例要么在推理时不使用 dropout，要么对多个采样掩码（蒙特卡洛 Dropout）生成的预测取平均。Dropout 的梦境之地利用每个独特掩码创建多样的梦境环境集合。实验结果表明，Dropout 的梦境之地是弥合梦境环境与现实之间现实差距的有效技术。此外，我们还进行了广泛的消融研究。