神经运动模拟器：挑战强化学习中世界模型的极限
机器学习
2025-04-10 v1 机器人学
摘要
具身系统不仅要建模外部世界的规律，还要理解自身的运动动力学。运动动力学模型对于高效技能获取和有效规划至关重要。本文我们引入了神经运动模拟器 (MoSim)，这是一种基于当前观察和动作预测具身系统未来物理状态的世界模型。MoSim在物理状态预测方面实现了最新进展，并在广泛的下游任务中表现出竞争力。本工作表明，当世界模型足够准确且能够进行精确的长期预测时，它可以促进想象世界中的高效技能获取，甚至实现零样本强化学习。此外，MoSim可以将任何基于模型无关的强化学习 (RL) 算法转换为基于模型的方法，有效地将物理环境建模与RL算法开发分离。这种分离使得RL算法和世界建模可以独立进步，显著提高样本效率并增强泛化能力。我们的发现表明，针对运动动力学的世界模型是发展更灵活和能力更强具身系统的有前景的方向。
引用
@article{arxiv.2504.07095,
title = {Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning},
author = {Chenjie Hao and Weyl Lu and Yifan Xu and Yubei Chen},
journal= {arXiv preprint arXiv:2504.07095},
year = {2025}
}
备注
8 pages (main), 2-page appendix, 8 figures, accepted by CVPR 2025