共享认知：基于人类手势与自然语言语义落地的室内机器人规划与导航
机器人学
2021-08-17 v1
摘要
人类之间的合作使得即使在未知场景中也能轻松执行任务并无缝导航。凭借我们的个体知识与集体认知技能，我们能够在不可预见的情况与环境中进行推理并表现良好。为使在人类中导航并与之交互的机器人获得类似的潜力，关键在于使其具备与人类进行轻松、高效且自然的交流与认知共享的能力。在本工作中，我们旨在利用已知为仅次于语音的最显著交流模态——人类手势。我们展示了如何在一台具备视觉与听觉能力的机器人上，以非常简单却有效的方式实现利用手势交流空间理解。这在需要发展认知与室内导航的任务中，相比仅使用视觉与语言导航、语言落地(Language Grounding)或人机交互(Human-Robot Interaction, HRI)展现出巨大优势。我们改编了语言落地与人机交互的先进模块，在一台远程呈现(Telepresence)机器人上于真实环境中展示了一条用于执行一组具有挑战性任务的新颖系统流水线。据我们所知，这是首个在室内环境中将 HRI 与语言落地领域耦合以展示自主导航的流水线。
引用
@article{arxiv.2108.06478,
title = {Sharing Cognition: Human Gesture and Natural Language Grounding Based Planning and Navigation for Indoor Robots},
author = {Gourav Kumar and Soumyadip Maity and Ruddra dev Roychoudhury and Brojeshwar Bhowmick},
journal= {arXiv preprint arXiv:2108.06478},
year = {2021}
}