mRI：使用毫米波、RGB-D与惯性传感器的多模态三维人体姿态估计数据集
计算机视觉与模式识别
2022-10-18 v1
摘要
估计三维人体姿态与运动（即人体姿态估计，HPE）的能力，支撑了诸多家庭健康监护应用，如远程康复训练。已有若干可能的解决方案，所用传感器涵盖RGB相机、深度传感器、毫米波（mmWave）雷达和可穿戴惯性传感器。尽管先前在HPE的数据集与基准方面已有努力，但极少有数据集利用多模态并聚焦于家庭健康监护。为弥补此缺口，我们提出mRI，一个使用毫米波、RGB-D与惯性传感器的多模态三维人体姿态估计数据集。我们的数据集包含来自20名受试者进行康复运动的超过16万同步帧，并支持HPE与动作检测的基准测试。我们使用该数据集进行了大量实验并阐明各模态的优势。我们希望mRI的发布能催化姿态估计、多模态学习与动作理解的研究，并更重要的是促进家庭健康监护应用。
引用
@article{arxiv.2210.08394,
title = {mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors},
author = {Sizhe An and Yin Li and Umit Ogras},
journal= {arXiv preprint arXiv:2210.08394},
year = {2022}
}
备注
Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022). Project page: https://sizhean.github.io/mri