WildLMa：野外长时程Loco操作
机器人学
2025-03-11 v2 计算机视觉与模式识别
机器学习
摘要
‘野外’移动操作旨在在多样化的真实环境中部署机器人，这需要机器人具备：（1）跨对象配置的可泛化技能；（2）在多样化环境中执行长时程任务的能力；（3）执行除抓取与放置之外的复杂操作。四足机器人搭载操作臂可为扩展工作空间并实现稳健的 locomotion 提供前景，但现有研究尚未探讨此类能力。本文提出的WildLMa由三个组件构成以解决上述问题：（1）针对VR-enabled全身遥操作与可遍历性的低层控制器适应；（2）WildLMa-Skill——通过模仿学习或启发式方法获取的可泛化视觉-运动技能库；（3）WildLMa-Planner——连接学习技能的接口，使LLM规划器能够协调技能以执行长时程任务。我们通过仅使用少量演示即可实现高质量训练数据，从而在抓取成功率上优于现有强化学习基线。WildLMa利用CLIP进行语言条件化模仿学习，实证上对训练演示中未出现的对象的泛化性。除大量定量评估外，我们还定性地展示了实际的机器人应用，如在大学走廊或户外地形上清理垃圾、操作关节对象、以及整理书架上的物品。
引用
@article{arxiv.2411.15131,
title = {WildLMa: Long Horizon Loco-Manipulation in the Wild},
author = {Ri-Zhao Qiu and Yuchen Song and Xuanbin Peng and Sai Aneesh Suryadevara and Ge Yang and Minghuan Liu and Mazeyu Ji and Chengzhe Jia and Ruihan Yang and Xueyan Zou and Xiaolong Wang},
journal= {arXiv preprint arXiv:2411.15131},
year = {2025}
}
备注
Website: https://wildlma.github.io/