PoseTriplet：自监督下协同演化的三维人体姿态估计、模仿与幻觉
计算机视觉与模式识别
2022-03-30 v1
摘要
现有的自监督三维人体姿态估计方案在很大程度上依赖于一致性损失等弱监督来引导学习，这不可避免地导致在具有未见姿态的真实场景中得到较差结果。本文中，我们提出一种新颖的自监督方法，通过自增强的双环学习框架，使我们能够显式生成2D-3D姿态对以扩充监督。这可以通过引入一个基于强化学习的模仿器实现，该模仿器与姿态估计器及一个姿态幻觉器联合学习；这三个组件在训练过程中形成两个循环，相互补充并加强。具体而言，姿态估计器将输入的2D姿态序列转换为低保真度的3D输出，随后由施加物理约束的模仿器增强。精炼后的3D姿态被送入幻觉器以产生更多样化的数据，这些数据进而被模仿器加强并进一步用于训练姿态估计器。这样一种协同演化方案在实践中使得无需依赖任何给定3D数据即可在自生成运动数据上训练姿态估计器。跨多个基准的广泛实验表明，我们的方法取得了令人鼓舞的结果，显著优于当前最优（SOTA）方法，且在某些情况下甚至与全监督方法的结果相当。值得注意的是，在自监督跨数据集评估设置下，其在MPI-INF-3DHP上达到了89.1%的3D PCK，比先前最佳自监督方法提高了8.6%。代码见：https://github.com/Garfield-kh/PoseTriplet
引用
@article{arxiv.2203.15625,
title = {PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision},
author = {Kehong Gong and Bingbing Li and Jianfeng Zhang and Tao Wang and Jing Huang and Michael Bi Mi and Jiashi Feng and Xinchao Wang},
journal= {arXiv preprint arXiv:2203.15625},
year = {2022}
}
备注
CVPR 2022 Oral Paper, code available: https://github.com/Garfield-kh/PoseTriplet