全局适配遇见局部泛化：面向三维人体姿态估计的无监督域适配
计算机视觉与模式识别
2023-08-21 v2
摘要
当将预训练的二维到三维人体姿态提升模型应用于目标未知数据集时，由于域偏移问题通常会遭遇大幅性能退化。我们观察到退化由两因素导致：1）因相机参数与设置差异，源域与目标域间姿态全局位置的大分布鸿沟；2）训练中姿态局部结构多样性不足。为此，我们在 \textit{PoseDA} 中结合 \textbf{全局适配} 与 \textbf{局部泛化}，一个简洁而有效的三维人体姿态估计无监督域适配框架。具体而言，全局适配旨在利用所提全局位置对齐（GPA）模块将源域姿态全局位置对齐至目标域。局部泛化则设计为利用局部姿态增强（LPA）模块增强二维-三维姿态映射的多样性。这些模块带来显著性能提升且不引入额外可学习参数。此外，我们提出局部姿态增强（LPA）以遵循对抗训练方案增强三维姿态多样性，该方案由 1）生成预定义姿态变换参数的增强生成器与 2）确保增强数据真实性与质量的锚定判别器组成。我们的方法几乎可应用于所有二维-三维提升模型。在跨数据集评估设置下，\textit{PoseDA} 在 MPI-INF-3DHP 上取得 61.3 mm 的 MPJPE，较先前最优方法提升 10.2%。
引用
@article{arxiv.2303.16456,
title = {Global Adaptation meets Local Generalization: Unsupervised Domain Adaptation for 3D Human Pose Estimation},
author = {Wenhao Chai and Zhongyu Jiang and Jenq-Neng Hwang and Gaoang Wang},
journal= {arXiv preprint arXiv:2303.16456},
year = {2023}
}
备注
ICCV 2023