Kinova Gemini：基于视觉推理与对话 AI 的交互式机器人抓取
机器人学
2022-09-07 v1 人机交互
摘要
为促进机器人与 AI 近期进展在人机精细协作中的应用，我们提出 Kinova Gemini，一种集成对话 AI 与视觉推理的原始机器人系统，使 Kinova Gen3 lite 机器人能帮助人们取放物体或完成基于感知的拾放任务。当人走到 Kinova Gen3 lite 前，我们的 Kinova Gemini 能在三种应用中满足用户请求：（1）可与人开启自然对话进行交互，协助人取物并逐一递给用户。（2）用 YOLO v3 检测多样物体并识别物品颜色属性，通过对话询问人是否要抓取，或让用户选择所需具体物品。（3）应用 YOLO v3 识别多个物体，让你选择两件物品以完成如“将香蕉放入碗中”等基于感知的拾放任务，并具备视觉推理与对话交互。
引用
@article{arxiv.2209.01319,
title = {Kinova Gemini: Interactive Robot Grasping with Visual Reasoning and Conversational AI},
author = {Hanxiao Chen and Jiankun Wang and Max Q. -H. Meng},
journal= {arXiv preprint arXiv:2209.01319},
year = {2022}
}