基于人类多模态感官数据的物体操作动作理解
机器人学
2019-07-09 v2
摘要
物体操作动作在日常生活活动（ADLs）中占有重要比重。在本工作中，我们研究如何使服务机器人利用人类多模态数据来理解物体操作动作，以及如何在人机协作任务中由人类执行此类动作时识别它们。本研究中的多模态数据包括视频、手部运动数据、由手部压力模式表示的施加力，以及手指弯曲测量值，这些数据是在人类受试者执行操作动作时采集的。我们研究了两种不同的方法。在第一种方法中，我们表明由动作产生的多模态信号（运动、手指弯曲和手部压力）可分解为一组可视为其构建模块的基元。这些基元用于定义24个多模态基元特征。基元特征进而可用作多模态信号的抽象表示并用于动作识别。在后一种方法中，视觉特征使用预训练的图像分类深度卷积神经网络从数据中提取，随后用于训练分类器。我们还研究了添加其他模态的数据是否会在统计上显著改善分类器性能。我们表明两种方法产生相当的性能。这意味着基于图像的方法可以在人机协作期间成功识别人类动作。另一方面，为了给机器人提供训练数据以学习如何执行物体操作动作，多模态数据提供了更好的替代方案。
引用
@article{arxiv.1905.07012,
title = {Understanding of Object Manipulation Actions Using Human Multi-Modal Sensory Data},
author = {Bahareh Abbasi and Ehsan Noohi and Sina Parastegari and Milos Zefran},
journal= {arXiv preprint arXiv:1905.07012},
year = {2019}
}