FreeMan：面向真实世界条件下三维人体姿态估计的基准评测
计算机视觉与模式识别
2024-04-04 v4
摘要
从自然场景估计人体的三维结构是一项基础的视觉感知任务。三维人体姿态估计是推动 AIGC 与人机交互等领域发展的关键步骤，也是理解和交互真实世界中人类动作的重要技术。然而，当前数据集多在单一实验室条件下使用复杂动作捕捉设备与不变背景采集，存在不足。可变条件数据集的缺失正阻碍这一关键任务的进展。为推动三维姿态估计发展，我们提出 FreeMan，首个在真实世界条件下采集的大规模多视角数据集。FreeMan 通过同步 8 部智能手机在不同场景中捕获，包含来自 8000 个序列的 1100 万帧，视角各异。这些序列涵盖 10 种不同场景下的 40 名受试者，各场景光照条件不同。我们还建立了含错误检测的半自动化流水线，以减轻人工核查负担并确保标注精确。我们为一系列任务提供了全面的评估基线，凸显了 FreeMan 带来的重大挑战。对标准室内/室外人体感知数据集的进一步评估表明，FreeMan 在真实复杂场景中具备鲁棒的表征可迁移性。代码与数据见 https://wangjiongw.github.io/freeman。
引用
@article{arxiv.2309.05073,
title = {FreeMan: Towards Benchmarking 3D Human Pose Estimation under Real-World Conditions},
author = {Jiong Wang and Fengyu Yang and Wenbo Gou and Bingliang Li and Danqi Yan and Ailing Zeng and Yijun Gao and Junle Wang and Yanqing Jing and Ruimao Zhang},
journal= {arXiv preprint arXiv:2309.05073},
year = {2024}
}
备注
CVPR2024 camera ready version. 19 pages, 16 figures. Project page: https://wangjiongw.github.io/freeman/ ; API: https://github.com/wangjiongw/FreeMan_API