面向野外 3D 人体姿态估计的样例微调用于 3D 人体模型拟合
计算机视觉与模式识别
2021-10-25 v3
摘要
与 COCO 等 2D 图像数据集不同，带有 3D 真值标注的大规模人体数据集在野外极难获取。本文中，我们通过用高质量 3D 姿态拟合扩充现有 2D 数据集来解决该问题。值得注意的是，所得标注足以从头训练出在 3DPW 等野外基准上超越当前最优的 3D 姿态回归网络。此外，在我们的扩充数据上训练十分直接，因为它无需混合多个互不兼容的 2D 与 3D 数据集，也无需使用复杂的网络架构与训练流程。这一简化流程带来了额外改进，包括注入极端裁剪增强以更好地重建高度截断的人体，以及引入辅助输入以提升 3D 姿态估计精度。它还降低了对 H36M 等具有限制性许可的 3D 数据集的依赖。我们也用我们的方法引入了用于研究遮挡、截断与罕见身体姿态等现实挑战的新基准。为获得此类高质量 3D 伪标注，受内部学习进展启发，我们引入了样例微调（EFT）。EFT 将 SMPLify 等拟合方法的重投影精度与预训练 3D 姿态回归网络隐式捕获的 3D 姿态先验相结合。我们表明 EFT 生成的 3D 标注可带来更好的下游性能，且在广泛的人体评估中定性更优。
引用
@article{arxiv.2004.03686,
title = {Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation},
author = {Hanbyul Joo and Natalia Neverova and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2004.03686},
year = {2021}
}