VADER：面向多机器人人类协作的视觉 affordance 检测与错误恢复
机器人学
2024-06-03 v2
摘要
当今机器人能够利用大型语言模型的丰富世界知识，将简单行为技能链接成长期任务。然而，由于原始技能失败和动态环境的干扰，机器人在执行长期任务时常常会被中断。我们提出了 VADER，这是一种计划-执行-检测框架，其中将寻求帮助作为一种新的技能，使机器人能够借助人类或其他机器人的帮助恢复并完成长期任务。VADER 利用视觉问答（VQA）模块检测视觉 affordance 并识别执行错误，然后为语言模型规划器（LMP）生成提示，决定何时向另一机器人或人类寻求帮助，以恢复长期任务执行中的错误。我们通过两种长期任务验证了 VADER 的有效性。我们的初始研究表明，VADER 能够通过向另一机器人寻求帮助来清理桌面，从而完成复杂的长期任务。我们的用户研究表明，VADER 能够通过向人类寻求帮助来清理路径，从而完成复杂的长期任务。我们收集了 N=19 位用户关于 VADER 性能相对于不寻求帮助的机器人性能的反馈。https://google-vader.github.io/
引用
@article{arxiv.2405.16021,
title = {VADER: Visual Affordance Detection and Error Recovery for Multi Robot Human Collaboration},
author = {Michael Ahn and Montserrat Gonzalez Arenas and Matthew Bennice and Noah Brown and Christine Chan and Byron David and Anthony Francis and Gavin Gonzalez and Rainer Hessmer and Tomas Jackson and Nikhil J Joshi and Daniel Lam and Tsang-Wei Edward Lee and Alex Luong and Sharath Maddineni and Harsh Patel and Jodilyn Peralta and Jornell Quiambao and Diego Reyes and Rosario M Jauregui Ruano and Dorsa Sadigh and Pannag Sanketi and Leila Takayama and Pavel Vodenski and Fei Xia},
journal= {arXiv preprint arXiv:2405.16021},
year = {2024}
}
备注
9 pages, 4 figures