AGORA：面向回归分析优化的地理化身数据集
计算机视觉与模式识别
2021-05-03 v1
摘要
尽管基于图像的三维人体姿态估计在基准数据集上的精度稳步提升，但最佳方法在许多真实世界场景中仍会失败。这表明当前数据集与包含人的常见场景之间存在域差距。为获取真实三维姿态，当前数据集限制了服装复杂度、环境条件、主体数量与遮挡。此外，当前数据集评估对应于身体主要关节的稀疏三维关节位置，忽略了手部姿态与面部形状。为在更具挑战性的图像上评估当前最先进方法，并推动该领域解决新问题，我们引入了 AGORA，一个具有高真实感与高精度真实标注的合成数据集。此处我们使用 4240 个商用、高质量、带纹理的人体扫描，涵盖多样姿态与自然服装；其中包括 257 个儿童扫描。我们通过将 SMPL-X 身体模型（含面部与手部）拟合到考虑服装的三维扫描上，创建参考三维姿态与身体形状。我们通过使用基于图像的照明或渲染的三维环境，每幅图像渲染 5 至 15 人，并注意使图像在物理上合理且照片级真实，从而创建约 14K 训练图像与 3K 测试图像。总计，AGORA 包含 173K 个独立人体裁剪。我们在此数据集上评估现有的最先进三维人体姿态估计方法，发现大多数方法在儿童图像上表现不佳。因此，我们扩展 SMPL-X 模型以更好地捕捉儿童体型。此外，我们在 AGORA 上微调方法，并展示在 AGORA 与 3DPW 上性能均有所提升，证实了该数据集的真实感。我们在 https://agora.is.tue.mpg.de/ 提供所有注册的三维参考训练数据、渲染图像以及一个基于网络的评估站点。
引用
@article{arxiv.2104.14643,
title = {AGORA: Avatars in Geography Optimized for Regression Analysis},
author = {Priyanka Patel and Chun-Hao P. Huang and Joachim Tesch and David T. Hoffmann and Shashank Tripathi and Michael J. Black},
journal= {arXiv preprint arXiv:2104.14643},
year = {2021}
}