基于进展好奇心的主动世界模型学习

世界模型是关于世界如何演化的自监督预测模型。人类通过好奇地探索环境来学习世界模型，在此过程中获得高带宽感官输入的紧凑抽象、跨长时域的规划能力，以及对其他智能体行为模式的理解。本工作中，我们研究如何设计这样一种好奇心驱动的主动世界模型学习（AWML）系统。为此，我们构建了一个好奇智能体，其在富含代表性真实世界智能体提炼物的3D物理环境中视觉探索的同时构建世界模型。我们提出一种由 $\gamma$-Progress 驱动的AWML系统：一种可扩展且有效的基于学习进展的好奇心信号。我们证明 $\gamma$-Progress 自然产生一种将注意力以均衡方式导向复杂但可学习动态的探索策略，从而克服“白噪声问题”。结果表明，我们的 $\gamma$-Progress 驱动控制器取得了显著高于配备随机网络蒸馏与模型不一致性等前沿探索策略的基线控制器的AWML性能。