HUMAN4D：一个面向运动与沉浸式媒体的以人为中心的多模态数据集
计算机视觉与模式识别
2021-10-22 v2 人工智能
机器学习
摘要
我们介绍 HUMAN4D，一个大型多模态 4D 数据集，包含由专业标记点式动作捕捉系统、容积捕获系统和音频录制系统同步采集的多种人类活动。通过捕捉 2 名女性和 2 名男性专业演员执行的各种全身运动和表情，HUMAN4D 提供了在单人和多人日常、体育及社交活动（跳跃、舞蹈等）中遇到的多样化运动与姿态集合，以及多 RGBD（mRGBD）、容积和音频数据。尽管存在使用硬件同步采集的多视角彩色数据集，但据我们所知，HUMAN4D 是首个且唯一一个因采用传感器内和传感器间硬件同步而具有高同步精度的容积深度图的公开资源。此外，一个时空对齐的扫描并绑定骨骼的 3D 角色补充了 HUMAN4D，以支持对时变高质量动态网格的联合研究。我们通过使用最先进的人体姿态估计和 3D 压缩方法对 HUMAN4D 进行基准测试，提供了评估基线。对于前者，我们在单视角和多视角数据线索上应用了 2D 和 3D 姿态估计算法。对于后者，我们在容积数据上对开源 3D 编解码器进行了基准测试，遵循在线容积视频编码和恒定比特率。此外，对不同质量重建的基于网格的容积数据进行定性和定量视觉比较，展示了在 4D 表示方面的可用选项。HUMAN4D 被介绍给计算机视觉和图形学研究社区，以支持对时空对齐的姿态、容积、mRGBD 和音频数据线索的联合研究。数据集及其代码可在 https://tofis.github.io/myurls/human4d 获取。
引用
@article{arxiv.2110.07235,
title = {HUMAN4D: A Human-Centric Multimodal Dataset for Motions and Immersive Media},
author = {Anargyros Chatzitofis and Leonidas Saroglou and Prodromos Boutis and Petros Drakoulis and Nikolaos Zioulis and Shishir Subramanyam and Bart Kevelham and Caecilia Charbonnier and Pablo Cesar and Dimitrios Zarpalas and Stefanos Kollias and Petros Daras},
journal= {arXiv preprint arXiv:2110.07235},
year = {2021}
}