Harmony4D：面向自然场景下近距离人体交互的视频数据集
计算机视觉与模式识别
2024-10-29 v1
摘要
理解人与人之间的交互方式是构建逼真多人虚拟现实系统的关键。由于缺乏大规模数据集，该领域仍相对未被探索。针对此问题的近期数据集主要由在受控室内环境中完全编排动作的活动组成，严重影响了其多样性。为解决这一问题，我们引入了 Harmony4D，这是一个用于人与人交互的多视角视频数据集，包含摔跤、跳舞、综合格斗（MMA）等自然场景下的活动。我们使用灵活的多视角捕捉系统记录这些动态活动，并为人体检测、跟踪、2D/3D 姿态估计以及紧密交互主体的网格恢复提供标注。我们提出了一种新颖的无标记算法，用于在严重遮挡和近距离交互下跟踪 3D 人体姿态，以最少的的人工干预获取标注。Harmony4D 包含来自 20 多个同步摄像头的 166 万张图像和 332 万个人体实例，涵盖 208 个跨越不同环境的视频序列和 24 个独特主体。我们严格评估了现有的网格恢复 SOTA 方法，并强调了它们在建模近距离交互场景中的显著局限性。此外，我们在 Harmony4D 上微调了预训练的 HMR2.0 模型，并证明在严重遮挡和接触场景中其 PVE 改进至 54.8%。代码和数据可在 https://jyuntins.github.io/harmony4d/ 获取。
引用
@article{arxiv.2410.20294,
title = {Harmony4D: A Video Dataset for In-The-Wild Close Human Interactions},
author = {Rawal Khirodkar and Jyun-Ting Song and Jinkun Cao and Zhengyi Luo and Kris Kitani},
journal= {arXiv preprint arXiv:2410.20294},
year = {2024}
}
备注
NeurIPS 2024