面向密集杂乱场景长视程机器人操作的分层视觉策略学习
机器人学
2023-12-06 v1
摘要
在这项工作中，我们专注于解决密集杂乱场景中的长视程操作任务。此类任务要求策略有效管理物体之间的严重遮挡，并基于视觉观测持续产生动作。我们提出了一种用于杂乱场景长视程操作的基于视觉的分层策略 (HCLM)。它采用一个高层策略和三个选项，以选择并实例化三个参数化动作基元：推、拾和放。我们首先通过行为克隆 (BC) 训练拾和放选项。随后，我们使用分层强化学习 (HRL) 训练高层策略和推选项。在 HRL 过程中，我们提出了空间扩展 Q 更新 (SEQ) 来增强推选项的更新，以及两阶段更新方案 (TSUS) 来缓解更新高层策略时的非平稳转移问题。我们证明 HCLM 在不同任务的成功率和效率方面显著优于基线方法。我们还强调了我们的方法泛化到具有更多额外方块的更杂乱环境的能力。
引用
@article{arxiv.2312.02697,
title = {Hierarchical Visual Policy Learning for Long-Horizon Robot Manipulation in Densely Cluttered Scenes},
author = {Hecheng Wang and Lizhe Qi and Bin Fang and Yunquan Sun},
journal= {arXiv preprint arXiv:2312.02697},
year = {2023}
}