弱监督发现几何感知表征用于三维人体姿态估计
计算机视觉与模式识别
2019-03-28 v2
摘要
近期研究借助大规模室内 3D 数据集与复杂网络架构，在单目图像三维人体姿态估计上取得了显著进展。然而对不同环境的泛化能力仍难实现。本工作中，我们提出一种人体姿态的几何感知 3D 表征以解决该局限，方法是在训练阶段使用简单自编码器模型中的多视角，并仅以 2D 关键点信息作为监督。我们提出一种视图合成框架，通过将一个视点的人体姿态合成至另一视点来学习视点间共享的 3D 表征。我们未直接在原始图像层面进行迁移，而是提出基于骨架的编码器-解码器机制，以在潜空间中仅提炼与姿态相关的表征。进一步引入基于学习的表征一致性约束以增强潜 3D 表征的鲁棒性。由于所学表征编码了 3D 几何信息，将其映射至 3D 姿态比以图像或 2D 坐标为 3D 姿态估计器输入的传统框架容易得多。我们在 3D 人体姿态估计任务上展示了我们的方法。在三个流行基准上的综合实验表明，我们的模型仅将表征作为鲁棒 3D 先验注入，即可显著提升 SOTA 方法的性能。
引用
@article{arxiv.1903.08839,
title = {Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimation},
author = {Xipeng Chen and Kwan-Yee Lin and Wentao Liu and Chen Qian and Xiaogang Wang and Liang Lin},
journal= {arXiv preprint arXiv:1903.08839},
year = {2019}
}
备注
Accepted as a CVPR 2019 oral paper. Project page: https://kwanyeelin.github.io/