NToP：基于 NeRF 的大规模数据集生成，用于鱼眼图像顶视图中的人体 2D 和 3D 姿态估计
计算机视觉与模式识别
2024-04-25 v2 图形学
摘要
使用鱼眼相机进行顶视图人体姿态估计 (HPE) 是一个充满前景和创新的应用领域。然而，捕捉该视角的数据集极其有限，尤其是那些具有高质量 2D 和 3D 关键点标注的数据集。为解决这一差距，我们利用神经辐射场 (NeRF) 技术的能力，建立了一个综合流程，从现有的 2D 和 3D 数据集中生成人体姿态数据集，专门针对顶视图鱼眼视角。通过该流程，我们创建了一个新数据集 NToP570K（基于 NeRF 的鱼眼相机顶视图人体姿态数据集，包含超过 57 万张图像），并广泛评估了其在增强用于 2D 和 3D 顶视图人体姿态估计的神经网络方面的有效性。在我們的训练集上微调后，预训练的 ViTPose-B 模型在 2D HPE 验证集上的 AP 提高了 33.3%。同样经过微调的 HybrIK-Transformer 模型在 3D HPE 验证集上的 PA-MPJPE 降低了 53.7 mm。
引用
@article{arxiv.2402.18196,
title = {NToP: NeRF-Powered Large-scale Dataset Generation for 2D and 3D Human Pose Estimation in Top-View Fisheye Images},
author = {Jingrui Yu and Dipankar Nandi and Roman Seidel and Gangolf Hirtz},
journal= {arXiv preprint arXiv:2402.18196},
year = {2024}
}