Human-M3：一种用于室外场景三维人体姿态估计的多视角多模态数据集
计算机视觉与模式识别
2023-08-08 v2 人工智能
机器学习
摘要
室外环境中的三维人体姿态估计近来受到越来越多的关注。然而，现有的与室外场景相关的三维人体姿态数据集缺乏多样性，因为它们主要仅使用一种模态（RGB 图像或点云），且每个场景通常只有一个人。这种有限的数据集基础设施严重阻碍了可用数据的多变性。在本文中，我们提出 Human-M3，一个室外多模态多视角多人人体姿态数据库，其不仅包含室外场景的多视角 RGB 视频，还包含相应的点云。为获取准确的人体姿态，我们提出一种基于多模态数据输入的算法来生成真值标注。这得益于鲁棒的点云检测与跟踪，解决了以往室外多人场景多视角 RGB 视频中可能存在的人体定位不准和匹配歧义问题，并生成可靠的真值标注。对多种不同模态算法的评估表明，该数据库具有挑战性且适合未来研究。此外，我们提出一种基于多模态数据输入的三维人体姿态估计算法，展示了多模态数据输入对三维人体姿态估计的优势。代码与数据将在 https://github.com/soullessrobot/Human-M3-Dataset 发布。
引用
@article{arxiv.2308.00628,
title = {Human-M3: A Multi-view Multi-modal Dataset for 3D Human Pose Estimation in Outdoor Scenes},
author = {Bohao Fan and Siqi Wang and Wenxuan Guo and Wenzhao Zheng and Jianjiang Feng and Jie Zhou},
journal= {arXiv preprint arXiv:2308.00628},
year = {2023}
}
备注
Code and data will be released on https://github.com/soullessrobot/Human-M3-Dataset