视觉基础模型与移动平台机械臂的创新集成
机器人学
2024-04-30 v1
摘要
在快速发展的机器人领域，最先进的视觉技术与移动机械臂的融合已成为一个关键的集成方向。本文介绍了一种新颖系统，它将Segment Anything模型（SAM）——一种基于Transformer的视觉基础模型——与移动平台上的机械臂相结合。在机械臂末端执行器上集成深度摄像头的设计确保了连续的目标跟踪，显著减轻了环境不确定性。通过部署在移动平台上，我们的抓取系统具有增强的移动性，在适应性至关重要的动态环境中发挥关键作用。这种综合实现了动态目标分割、跟踪和抓取。它还提升了用户交互，使机器人能够直观地响应点击、绘图或语音命令等多种模态，超越了传统机器人系统。在模拟和真实环境中的实证评估展示了系统的能力。这种配置为广泛的应用开辟了途径，从工业环境、农业、家务任务到专业任务等。
引用
@article{arxiv.2404.18720,
title = {Innovative Integration of Visual Foundation Model with a Robotic Arm on a Mobile Platform},
author = {Shimian Zhang and Qiuhong Lu},
journal= {arXiv preprint arXiv:2404.18720},
year = {2024}
}