对话式物体搜索

我们设想能与人类无缝协作与沟通的机器人。此类机器人在与人交互时，须决定说什么与如何行动。为此，我们引入新任务——对话式物体搜索：机器人在人类环境（如厨房）中搜索目标物体（如叉子），同时与具备关于目标位置额外但不精确知识的远程人类进行“视频通话”。即机器人挂载摄像头共享图像，并与人类基于语音对话。该任务在多层面具挑战性，从数据收集、算法与系统开发到评估。尽管有挑战，我们认为此类任务是通向更智能协作机器人的必经之路。本扩展摘要中，我们动机并介绍对话式物体搜索任务，分析试点研究收集示例。随后讨论下一步，并以若干望获反馈的挑战作结。