基于结构化世界模型的样本高效机器人学习
机器人学
2022-10-25 v1 人工智能
摘要
强化学习已被证明是一种灵活且有效的方法，用于学习一系列连续控制任务，例如机器人用来操纵环境中物体的任务。但尤其在机器人领域，真实世界 rollout 成本高昂，样本效率在学习新技能时可能成为主要限制因素。在游戏环境中，世界模型的使用已被证明可提高样本效率，同时仍取得良好性能，尤其是在提供图像或其他丰富观测时。在本项目中，我们探索在可变形机器人操纵任务中使用世界模型，评估其在模拟中学习折叠布料时对样本效率的影响。我们将 RGB 图像观测与利用内置结构（表示布料配置的 keypoints）的特征空间进行比较，后者是机器人技能学习中的常见方法，并比较在有和无世界模型时对任务性能和学习效率的影响。我们的实验表明，keypoints 的使用使最佳模型在任务上的性能提高了 50%，且总体而言，使用学习或构建的降维特征空间改善了任务性能和样本效率。我们的世界模型中使用状态转移预测器（MDN-RNN）对任务性能没有显著影响。
引用
@article{arxiv.2210.12278,
title = {Sample Efficient Robot Learning with Structured World Models},
author = {Tuluhan Akbulut and Max Merlin and Shane Parr and Benedict Quartey and Skye Thompson},
journal= {arXiv preprint arXiv:2210.12278},
year = {2022}
}