PoseAug：一种用于三维人体姿态估计的可微姿态增强框架
计算机视觉与模式识别
2021-05-07 v1
摘要
现有的三维人体姿态估计器对新数据集泛化性能差，主要归因于训练数据中 2D-3D 姿态对多样性有限。为解决该问题，我们提出 PoseAug，一种新颖的自动增强框架，其学习将可用训练姿态增强至更高多样性，从而改善所训练 2D 到 3D 姿态估计器的泛化能力。具体而言，PoseAug 引入一种新颖的姿态增强器，通过学习经由可微操作调整姿态的多种几何因素（如姿势、体型、视点与位置）。借助此种可微能力，增强器可与三维姿态估计器联合优化，并将估计误差作为反馈在线生成更多样且更困难的姿态。此外，PoseAug 引入一种新颖的局部感知运动链空间用于评价局部关节角度合理性，并相应开发判别模块以确保增强姿态的合理性。这些精心设计使 PoseAug 能生成比现有离线增强方法更多样且合理的姿态，从而带来估计器更好的泛化性。PoseAug 通用且易于应用于各类三维姿态估计器。大量实验表明，PoseAug 在场景内与跨场景数据集上均带来明显改进。值得注意的是，在跨数据集评测设置下，其在 MPI-INF-3DHP 上达到 88.6% 的 3D PCK，较此前最佳基于数据增强的方法提升 9.1%。代码见：https://github.com/jfzhang95/PoseAug。
引用
@article{arxiv.2105.02465,
title = {PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation},
author = {Kehong Gong and Jianfeng Zhang and Jiashi Feng},
journal= {arXiv preprint arXiv:2105.02465},
year = {2021}
}
备注
CVPR 2021 Oral Paper, code available: https://github.com/jfzhang95/PoseAug