通过潜在空间建模揭示基于模型的强化学习中sim-to-real迁移的挑战
机器学习
2025-06-17 v1 人工智能
摘要
强化学习（RL）在机器人控制和自动驾驶等领域发挥着越来越重要的作用。然而，模拟环境与真实环境之间的差距仍然是RL实际部署的主要障碍。在模拟器中训练的智能体在迁移到真实物理环境时往往难以保持性能。本文提出一种基于潜在空间的方法，用于分析模拟对基于模型的设置中真实世界策略优化的影响。作为基于模型方法的自然扩展，我们的方法能够直观地观察基于模型方法在sim-to-real迁移中所面临的挑战。在MuJoCo环境中进行的实验评估了我们的方法在测量和缓解sim-to-real差距方面的性能。实验还强调了在克服sim-to-real差距方面仍然存在的各种挑战，尤其是对基于模型的方法而言。
引用
@article{arxiv.2506.12735,
title = {Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling},
author = {Zhilin Lin and Shiliang Sun},
journal= {arXiv preprint arXiv:2506.12735},
year = {2025}
}