Talk-to-Resolve：结合场景理解与空间对话解决协同机器人的细粒度任务歧义
机器人学
2022-06-23 v2 人工智能
计算机视觉与模式识别
摘要
协同部署机器人的效用在很大程度上取决于其与人类之间简便直观的交互机制。若机器人接受自然语言任务指令，首先必须通过解析指令来理解用户意图。然而，在执行任务时，由于观测场景的变化，机器人可能面临不可预见的情况，因此需要用户进一步介入。在本文中，我们提出了一个名为 Talk-to-Resolve (TTR) 的系统，该系统使机器人能够通过视觉观察场景来发起与指令发出者的连贯对话交流，从而解决僵局。通过对话，机器人要么找到在原计划中继续推进的线索，要么找到原计划的可接受替代方案，要么获得彻底中止任务的确认。为实现可能的僵局识别，我们利用观测场景的密集描述与给定指令联合计算机器人的下一步动作。我们基于一组初始指令与情境场景对的数据集评估了系统。我们的系统能够以 82% 的准确率识别僵局并通过恰当的对话交流予以解决。此外，一项用户研究表明，相较于最先进方法（平均 3.08，满分 5 分），我们系统提出的问题更为自然（平均 4.02，满分 5 分）。
引用
@article{arxiv.2111.11099,
title = {Talk-to-Resolve: Combining scene understanding and spatial dialogue to resolve granular task ambiguity for a collocated robot},
author = {Pradip Pramanick and Chayan Sarkar and Snehasis Banerjee and Brojeshwar Bhowmick},
journal= {arXiv preprint arXiv:2111.11099},
year = {2022}
}
备注
Accepted in Elsevier Journal of Robotics and Autonomous Systems (RAS)