面向含人场景中具身导航智能体的基于自然手势的通信学习
人工智能
2021-08-09 v1 计算机视觉与模式识别
人机交互
机器学习
机器人学
摘要
人机协作是人工智能(AI)中的一个基本研究课题,使研究者能够设计认知 AI 系统,并为用户提供一种与机器人交互的直观手段。值得注意的是,通信起着核心作用。迄今,具身智能体导航的已有研究仅表明人类语言通过自然语言指令促进了通信。然而,大量其他通信形式尚未被探索。事实上,人类通信起源于手势,且往往通过多模态线索传递,例如伴随指向手势的“去那里”。为弥补这一差距并填补具身智能体导航中通信的缺失维度,我们提出研究使用手势作为通信接口而非语言线索的效果。具体而言,我们基于 AI2-THOR 平台开发了一个名为 Ges-THOR 的 VR 三维仿真环境。在该虚拟环境中,一名人类玩家被置于同一虚拟场景中,并仅使用手势来引导人工智能体。该智能体的任务是在具有未知语义的自然手势引导下解决导航问题;由于人类手势的多样性和多变性,我们不使用任何预定义手势。我们认为,学习自然手势的语义与学习导航任务互为裨益——学会通信且通过通信来学习。在一系列实验中,我们证明了人类手势线索即使无预定义语义,也能改善具身智能体的目标物体导航,优于多种 SOTA 方法。
引用
@article{arxiv.2108.02846,
title = {Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene},
author = {Qi Wu and Cheng-Ju Wu and Yixin Zhu and Jungseock Joo},
journal= {arXiv preprint arXiv:2108.02846},
year = {2021}
}
备注
To appear in IROS 2021