SoftGym：面向可变形物体操纵的深度强化学习基准
机器人学
2021-03-09 v2 机器学习
摘要
由于高维状态表示和复杂动力学，操纵可变形物体长期以来一直是机器人学中的挑战。深度强化学习近期的成功为通过数据驱动方法学习操纵可变形物体提供了有前景的方向。然而，现有的强化学习基准仅涵盖具有直接状态可观测性和简单低维动力学或具有相对简单的基于图像的环境（例如包含刚体物体的环境）的任务。在本文中，我们提出 SoftGym，一组用于操纵可变形物体的开源仿真基准，具有标准的 OpenAI Gym API 和用于创建新环境的 Python 接口。我们的基准将促进这一重要领域中的可复现研究。此外，我们在这些任务上评估了多种算法，并强调了强化学习算法面临的挑战，包括处理具有高内在维度和部分可观测性的状态表示。实验和分析指出了现有方法在可变形物体操纵背景下的优势与局限，有助于为未来方法开发指明方向。所学策略的代码和视频可在我们的项目网站上找到。
引用
@article{arxiv.2011.07215,
title = {SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation},
author = {Xingyu Lin and Yufei Wang and Jake Olkin and David Held},
journal= {arXiv preprint arXiv:2011.07215},
year = {2021}
}
备注
Conference on Robot Learning, 2020