具双臂的具身智能：零样本学习、安全性与模块化
机器人学
2024-11-04 v3
摘要
我们提出了一种具身智能系统，该系统接收人类发出的开放式自然语言指令，并控制双臂在大型工作空间中协作完成潜在的长期视野任务。我们的系统是模块化的：它部署了用于任务规划的最先进的大型语言模型，用于语义感知的视觉-语言模型，以及用于抓取的点云 Transformer。考虑到语义和物理安全性，这些模块与实时轨迹优化器和柔顺跟踪控制器接口，以实现人机近距离协作。我们展示了以下任务的性能：双臂分拣、开瓶和垃圾处理任务。这些任务均以零样本方式完成，所使用的模型未使用来自该双臂机器人、场景或工作空间的任何真实世界数据进行训练。以模块化方式组合基于学习和非学习的组件，并具有可解释的输入和输出，使用户能够轻松调试故障点和脆弱性。用户还可以原地替换模块以提高整体平台的鲁棒性，例如使用模仿学习策略。请参见 https://sites.google.com/corp/view/safe-robots 。
引用
@article{arxiv.2404.03570,
title = {Embodied AI with Two Arms: Zero-shot Learning, Safety and Modularity},
author = {Jake Varley and Sumeet Singh and Deepali Jain and Krzysztof Choromanski and Andy Zeng and Somnath Basu Roy Chowdhury and Avinava Dubey and Vikas Sindhwani},
journal= {arXiv preprint arXiv:2404.03570},
year = {2024}
}