基于 ROS 与多模态人工智能的双臂机器人人机交互平台开发
机器人学
2024-11-11 v1
摘要
本文提出了一种基于机器人操作系统（ROS）和多模态人工智能模型的双臂机器人系统人机交互平台的开发。我们提出的平台包含两个主要组件：双臂机器人硬件系统和包括图像处理任务与自然语言处理的软件，该软件使用三维相机和嵌入式计算。首先，我们设计并开发了一个定位精度小于 2 厘米的双臂机器人系统，能够独立运行，执行工业和服务任务，同时可以在 ROS 环境中模拟和建模机器人。其次，集成人工智能模型用于执行物体抓取和分类任务，准确率超过 90%。最后，我们开发了使用语音指令通过自然语言处理模型进行远程控制的软件。实验结果表明了多模态人工智能模型的准确性和双臂机器人系统在交互式人类环境中的灵活性。
引用
@article{arxiv.2411.05342,
title = {Development of a Human-Robot Interaction Platform for Dual-Arm Robots Based on ROS and Multimodal Artificial Intelligence},
author = {Thanh Nguyen Canh and Ba Phuong Nguyen and Hong Quan Tran and Xiem HoangVan},
journal= {arXiv preprint arXiv:2411.05342},
year = {2024}
}
备注
In The 25th National Conference on Electronics, Communications and Information Technology (REV-ECIT 2022), Hanoi, Vietnam. in Vietnamese language