用于无监督三维人体姿态估计的不变教师与等变学生网络
计算机视觉与模式识别
2020-12-18 v1
摘要
我们提出一种基于师生学习框架的新方法，用于在没有任何三维标注或辅助信息的情况下进行三维人体姿态估计。为解决该无监督学习问题，教师网络采用基于姿态字典的建模作为正则化来估计物理上合理的三维姿态。为处理教师网络中的分解歧义，我们提出一种循环一致架构，促进三维旋转不变性以训练教师网络。为进一步提高估计精度，学生网络采用一种新颖的图卷积网络以灵活直接估计三维坐标。另一促进三维旋转等变性的循环一致架构被用于利用几何一致性，并结合来自教师网络的知识蒸馏以提升姿态估计性能。我们在 Human3.6M 和 MPI-INF-3DHP 上进行了大量实验。与最先进的无监督方法相比，我们的方法将三维关节预测误差降低了 11.4%，并且在 Human3.6M 上也优于许多使用辅助信息的弱监督方法。代码将发布于 https://github.com/sjtuxcx/ITES。
引用
@article{arxiv.2012.09398,
title = {Invariant Teacher and Equivariant Student for Unsupervised 3D Human Pose Estimation},
author = {Chenxin Xu and Siheng Chen and Maosen Li and Ya Zhang},
journal= {arXiv preprint arXiv:2012.09398},
year = {2020}
}
备注
Accepted in AAAI 2021