通过模拟调和现实：一种用于鲁棒操作的实 - 仿 - 实方法
机器人学
2024-11-26 v3 人工智能
机器学习
摘要
模仿学习方法需要大量的人工监督才能学习到对物体姿态变化、物理干扰和视觉干扰具有鲁棒性的策略。另一方面，强化学习可以自主探索环境以学习鲁棒行为，但可能需要不切实际的大量不安全现实世界数据收集。为了在不负担不安全现实世界数据收集或广泛人工监督的情况下学习高性能、鲁棒的策略，我们提出了 RialTo，这是一个通过在即时构建的“数字孪生”模拟环境中进行强化学习来增强现实世界模仿学习策略鲁棒性的系统，该模拟环境由少量现实世界数据构建而成。为了实现这一实 - 仿 - 实流程，RialTo 提出了一种易于使用的界面，用于快速扫描和构建现实世界环境的数字孪生。我们还引入了一种新颖的“逆蒸馏”过程，将现实世界的演示带入模拟环境以进行高效微调，所需的人工干预和工程工作极少。我们在各种现实世界的机器人操作问题上评估了 RialTo，例如鲁棒地将盘子堆叠在架子上、将书放在书架上以及其他六项任务。RialTo 将策略鲁棒性提高了（超过 67%），而无需广泛的人工数据收集。项目网站和视频地址：https://real-to-sim-to-real.github.io/RialTo/
引用
@article{arxiv.2403.03949,
title = {Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation},
author = {Marcel Torne and Anthony Simeonov and Zechu Li and April Chan and Tao Chen and Abhishek Gupta and Pulkit Agrawal},
journal= {arXiv preprint arXiv:2403.03949},
year = {2024}
}
备注
Project page: https://real-to-sim-to-real.github.io/RialTo/