Motion-X：大规模三维具身全身人体运动数据集
计算机视觉与模式识别
2024-01-29 v2
摘要
本文提出 Motion-X，一个大规模三维具身全身人体运动数据集。现有运动数据集主要包含仅身体姿态，缺乏面部表情、手势和细粒度姿态描述。此外，它们主要从有限的实验室场景采集并人工标注文本描述，这极大限制了其可扩展性。为克服这些局限，我们开发了全身运动与文本标注流水线，可自动从单视角或多视角视频中标注运动，并为每个视频提供全面语义标签，为每个帧提供细粒度全身姿态描述。该流水线精度高、成本低且可扩展，便于进一步研究。基于此，我们构建了 Motion-X，包含 15.6M 精确三维全身姿态标注（即 SMPL-X），覆盖来自海量场景的 81.1K 运动序列。此外，Motion-X 提供 15.6M 帧级全身姿态描述与 81.1K 序列级语义标签。综合实验证明了标注流水线的准确性以及 Motion-X 在增强具身、多样且自然的运动生成以及三维全身人体网格恢复方面的显著益处。
引用
@article{arxiv.2307.00818,
title = {Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset},
author = {Jing Lin and Ailing Zeng and Shunlin Lu and Yuanhao Cai and Ruimao Zhang and Haoqian Wang and Lei Zhang},
journal= {arXiv preprint arXiv:2307.00818},
year = {2024}
}
备注
Accepted by NeurIPS 2023; A large-scale 3D whole-body human motion-text dataset; GitHub: https://github.com/IDEA-Research/Motion-X