EV-Action：肌电-视觉多模态动作数据集
计算机视觉与模式识别
2020-02-27 v2
摘要
多模态人体动作分析是一个关键且引人关注的研究课题。然而，现有数据集大多仅提供视觉模态（即 RGB、深度与骨架）。为此，我们在本工作中引入一个新的大规模 EV-Action 数据集，其包含 RGB、深度、肌电图（EMG）与两种骨架模态。相比传统数据集，EV-Action 数据集有两处主要改进：（1）我们部署动作捕捉系统以获取高质量骨架模态，提供更全面的运动信息，包括骨架、轨迹、加速度，且具有更高精度、采样频率及更多骨架标记点。（2）我们引入 EMG 模态，其常在生物力学领域用作有效指标，但在运动相关研究中尚待充分探索。据我们所知，这是首个含 EMG 模态的动作数据集。我们阐明了 EV-Action 数据集的细节，同时提出一种简洁而有效的基于 EMG 的动作识别框架。此外，应用前沿基线评估所有模态的有效性。所得结果清晰显示了 EMG 模态在人体动作分析任务中的有效性。我们希望该数据集能为人体运动分析、计算机视觉、机器学习、生物力学及其他交叉领域作出重要贡献。
引用
@article{arxiv.1904.12602,
title = {EV-Action: Electromyography-Vision Multi-Modal Action Dataset},
author = {Lichen Wang and Bin Sun and Joseph Robinson and Taotao Jing and Yun Fu},
journal= {arXiv preprint arXiv:1904.12602},
year = {2020}
}
备注
IEEE International Conference on Automatic Face & Gesture Recognition