NatSGD：面向自然人机交互中机器人学习的语音、手势与示范数据集
机器人学
2024-03-05 v1 机器学习
摘要
多模态人机交互（HRI）数据集的最新进展突显了语音与手势的融合，扩展了机器人吸收显式和隐式 HRI 信息的能力。然而，现有的语音-手势 HRI 数据集通常侧重于基础任务，如物体指向和推压，在扩展到复杂领域方面存在局限性，且将人类指令数据置于机器人行为记录之上。为了弥合这些差距，我们引入了 NatSGD，一个多模态 HRI 数据集，包含通过自然语音和手势发出的人类指令，并与机器人行为示范同步。NatSGD 作为机器学习与 HRI 研究交叉领域的基础资源，我们展示了其在训练机器人通过多模态人类指令理解任务方面的有效性，强调了联合考虑语音和手势的重要性。我们发布了我们的数据集、模拟器和代码，以促进未来人机交互系统学习的研究；可在 https://www.snehesh.com/natsgd/ 访问这些资源。
引用
@article{arxiv.2403.02274,
title = {NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction},
author = {Snehesh Shrestha and Yantian Zha and Saketh Banagiri and Ge Gao and Yiannis Aloimonos and Cornelia Fermuller},
journal= {arXiv preprint arXiv:2403.02274},
year = {2024}
}