抓取你想要的：由语音驱动的具身灵巧抓取系统
机器人学
2024-12-17 v1
摘要
近年来，随着机器人技术的进步，人机协作日益重要。然而，当前的机器人难以仅凭语音指令完整且准确地理解人类意图。传统的夹爪与吸附系统通常无法与人类自然交互，缺乏高级操作能力，且难以适应多样化任务，尤其是在非结构化环境中。本文提出了具身灵巧抓取系统（EDGS），旨在解决人机交互中杂乱环境下的物体抓取问题。我们提出了一种利用视觉语言模型（VLM）融合语音指令与视觉信息进行语义物体对齐的新方法，显著增强了复杂场景下目标物体多维属性的对齐效果。受人类手-物交互启发，我们开发了一种鲁棒、精确且高效的抓取策略，融入了拇指-物体轴线、多指包络以及指尖与物体接触力学等原理。我们还设计了实验以评估指代表达分割中的指代表达表示增强（RERE），表明我们的系统能够准确检测并匹配指代表达。大量实验证实，EDGS 能够有效处理复杂抓取任务，实现稳定性和高成功率，凸显了其在具身智能（Embodied AI）领域进一步发展的潜力。
引用
@article{arxiv.2412.10694,
title = {Grasp What You Want: Embodied Dexterous Grasping System Driven by Your Voice},
author = {Junliang Li and Kai Ye and Haolan Kang and Mingxuan Liang and Yuhang Wu and Zhenhua Liu and Huiping Zhuang and Rui Huang and Yongquan Chen},
journal= {arXiv preprint arXiv:2412.10694},
year = {2024}
}