HARMONIC：一个辅助性人机协作的多模态数据集
机器人学
2020-08-03 v2 人机交互
摘要
我们提出了人机自然交互协作多模态观测（HARMONIC）数据集。这是一个大型多模态数据集，记录了共享自主设定下人类与机械臂的交互，旨在模拟辅助进食。该数据集提供了二十四名不同受试者在与 6 自由度（DOF）机械臂进行辅助进食任务时的人类、机器人与环境数据视角。对每位参与者，我们记录了双眼视频、头戴摄像机的自我中心视频、操纵杆指令、用于操作操纵杆的前臂肌电图、第三人称立体视频，以及 6 DOF 机械臂的关节位置。还包括作为这些记录直接结果的一些特征，如投影到自我中心视频上的视线注视、身体姿态、手部姿态和面部关键点。这些数据流被专门收集，因为它们已被证明与人类心理状态和意图密切相关。该数据集可能引起研究意图预测、人类心理状态建模和共享自主的研究人员的兴趣。数据流以多种格式提供，如视频以及人类可读的 CSV 和 YAML 文件。
引用
@article{arxiv.1807.11154,
title = {HARMONIC: A Multimodal Dataset of Assistive Human-Robot Collaboration},
author = {Benjamin A. Newman and Reuben M. Aronson and Siddartha S. Srinivasa and Kris Kitani and Henny Admoni},
journal= {arXiv preprint arXiv:1807.11154},
year = {2020}
}