“递一下黄油”：基于高级 YOLOv7 与 BERT 的桌面级经典多任务机械臂研究
机器人学
2024-05-28 v1 系统与控制
系统与控制
摘要
近年来，各种智能自主机器人开始出现在日常生活和生产中。桌面级机器人具有部署灵活、响应快速、适合轻负载环境的特点。为了满足当前社会对服务机器人技术的需求，本研究提出以微型化桌面级机器人（基于 ROS）为载体，在本地部署自然语言模型（NLP-BERT），并集成视觉识别（CV-YOLO）和语音识别技术（ASR-Whisper）作为输入，以实现桌面机器人的自主决策和合理行动。设计了三个综合实验来验证该机械臂，结果表明在所有三个实验中使用该方法均表现出色。在任务 1 中，语音识别和动作执行的执行率分别为 92.6% 和 84.3%。在任务 2 中，给定条件下的最高执行率分别达到 92.1% 和 84.6%，而在任务 3 中，最高执行率分别为 95.2% 和 80.8%。因此，可以得出结论，所提出的在边缘设备上集成 ASR、NLP 等技术的解决方案是可行的，并为实现多模态桌面级机器人提供了技术和工程基础。
引用
@article{arxiv.2405.17250,
title = {"Pass the butter": A study on desktop-classic multitasking robotic arm based on advanced YOLOv7 and BERT},
author = {Haohua Que and Wenbin Pan and Jie Xu and Hao Luo and Pei Wang and Li Zhang},
journal= {arXiv preprint arXiv:2405.17250},
year = {2024}
}