基于深度强化学习从三维八叉树观测中学习在月球上抓取
机器人学
2023-03-09 v1 人工智能
机器学习
摘要
配备通用机械臂的地外漫游车在月球与行星探测中有诸多潜在应用。在此类系统中引入自主性，有助于增加漫游车收集科学数据与采样的时间。本研究探讨了深度强化学习在基于视觉的月球物体机器人抓取中的适用性。我们创建了一个带有程序化生成数据集的新型仿真环境，以在非结构化场景、不平地形与恶劣光照等挑战性条件下训练智能体。随后采用无模型离策略 actor-critic 算法端到端学习策略，直接将紧凑的八叉树观测映射到笛卡尔空间中的连续动作。实验评估表明，与传统的基于图像的观测相比，三维数据表示能更有效地学习操控技能。域随机化提升了所学策略对含未知物体与不同光照条件的全新场景的泛化能力。为此，我们在月球模拟设施中于真实机器人上评估训练后的智能体，展示了零样本仿真到真实的迁移。
引用
@article{arxiv.2208.00818,
title = {Learning to Grasp on the Moon from 3D Octree Observations with Deep Reinforcement Learning},
author = {Andrej Orsula and Simon Bøgh and Miguel Olivares-Mendez and Carol Martinez},
journal= {arXiv preprint arXiv:2208.00818},
year = {2023}
}
备注
Accepted for publication at the 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) | The source code is available at https://github.com/AndrejOrsula/drl_grasping | The supplementary video is available at https://youtube.com/watch?v=FZSoOkK6VFc