基于动作块分割 Transformer 的端到端自主挖掘机系统 ExACT
机器人学
2024-05-10 v1 人工智能
机器学习
摘要
挖掘机是完成建筑和采矿等多种任务的关键设备，而自主挖掘机系统通过提升安全性和效率、缓解劳动力短缺、改善人类工作条件来实现这一目标。与现有模块化方法不同，本文引入 ExACT，一种处理原始 LiDAR、摄像头数据和关节位置，以直接控制挖掘机阀门的端到端自主挖掘机系统。利用基于 Transformer 的动作块分割 (ACT) 架构，ExACT 采用模仿学习将来自多模态传感器的观察作为输入并生成可操作序列。在我们的实验中，我们基于捕获的真实世界数据构建了一个模拟器来建模挖掘机阀门状态与关节速度之间的关系。通过少量人类操作演示数据轨迹，ExACT 展示了在仿真器上的验证中，能够完成包括到达、挖掘和倾倒在内的不同挖掘任务。据我们了解，ExACT 是首个通过模仿学习方法以最小人类演示集合构建端到端自主挖掘机系统的实例。本工作的视频可访问 https://youtu.be/NmzR_Rf-aEk。
关键词
引用
@article{arxiv.2405.05861,
title = {ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers},
author = {Liangliang Chen and Shiyu Jin and Haoyu Wang and Liangjun Zhang},
journal= {arXiv preprint arXiv:2405.05861},
year = {2024}
}
备注
ICRA Workshop 2024: 3rd Workshop on Future of Construction: Lifelong Learning Robots in Changing Construction Sites