D-RMGPT：基于大多模模型驱动的机器人协作任务
机器人学
2024-08-22 v1 人工智能
摘要
协作机器人正日益流行于工作和日常任务中协助人类。然而，设计和设置人机协作界面具有挑战性，需要整合多个组件，从感知、机器人任务控制到硬件本身。这常导致高度定制化的解决方案，依赖大量昂贵的训练数据，偏离灵活通用界面以实现机器人感知和适应非结构化环境进行自然协作的理想目标。为克服这些挑战，本文提出检测-机器人管理GPT（D-RMGPT），一种基于大多模模型（LMM）的机器人协作装配规划器。该系统可帮助缺乏经验的运营人员完成装配任务，无需任何标记或先前训练。D-RMGPT由DetGPT-V和R-ManGPT组成。DetGPT-V基于GPT-4V（视觉）通过对当前装配阶段的提示图像和待装配组件列表进行一次性分析来感知周围环境，识别出哪些组件已被装配。R-ManGPT基于GPT-4规划下一个要装配的组件并生成机器人的离散动作将其递交给人类协作员。在装配玩具飞机的实验测试中，D-RMGPT表现出灵活直观的使用方式，在缺乏经验的运营人员下将装配成功率提高至83%，相较于手动流程缩短33%的装配时间。http://robotics-and-ai.github.io/LMMmodels/
引用
@article{arxiv.2408.11761,
title = {D-RMGPT: Robot-assisted collaborative tasks driven by large multimodal models},
author = {M. Forlini and M. Babcinschi and G. Palmieri and P. Neto},
journal= {arXiv preprint arXiv:2408.11761},
year = {2024}
}