Words2Contact: 基于基础模型从口头指令中识别支撑接触点
机器人学
2024-12-10 v2 人工智能
摘要
本文提出Words2Contact，一种利用大语言模型和视觉语言模型的语言引导多接触点放置管线。该方法是语言辅助遥操作和人机协作中的关键组件，人类操作员可通过自然语言指示机器人在进行全身到达或操作前放置支撑接触点。Words2Contact将人类操作员的口头指令转化为接触点放置预测；它还处理迭代纠正过程，直到人类操作员对机器人视野中识别的接触位置满意。我们对比评估了最新的LLMs和VLMs在接触预测中的规模和性能。我们展示了迭代纠正过程的有效性，表明即使是不熟练的用户也能快速学习如何指导系统获取准确位置。最后，我们在真实世界实验中使用Talos人形机器人，通过人类操作员指示在不同位置和表面放置支撑接触点，以避免在到达远距离物体时发生跌倒。
引用
@article{arxiv.2407.14229,
title = {Words2Contact: Identifying Support Contacts from Verbal Instructions Using Foundation Models},
author = {Dionis Totsila and Quentin Rouxel and Jean-Baptiste Mouret and Serena Ivaldi},
journal= {arXiv preprint arXiv:2407.14229},
year = {2024}
}