分而治之的独立部位训练（TIPSy-GAN）：提升无监督对抗式二维到三维姿态估计的精度与稳定性
计算机视觉与模式识别
2022-09-02 v4
摘要
我们提出 TIPSy-GAN，一种用于提升无监督对抗式二维到三维人体姿态估计精度与稳定性的新方法。我们的工作表明，不应将人体运动学骨架假设为单一空间相互依赖的结构；事实上，我们假定在训练时若提供完整二维姿态，会学到一种固有偏差，即某一关键点的三维坐标在空间上依赖于所有其他关键点的二维坐标。为验证该假设，我们沿用先前的对抗方法，但在运动学骨架的空间独立部位（躯干与腿部）上训练两个生成器。我们发现改进自一致性循环是降低评估误差的关键，因此在训练中引入了新的一致性约束。通过知识蒸馏从这些生成器得到 TIPSy 模型，可预测整个二维姿态的三维坐标并取得更优结果。此外，我们解决了先前工作中未回答的问题：在真正无监督场景下应训练多久。我们表明，两个独立生成器对抗训练比单一生成器（会崩溃）具有更好的稳定性。在 Human3.6M 数据集上，TIPSy 相比基线单一生成器将平均误差降低 17%。TIPSy 优于其他无监督方法，同时在 Human3.6M 与 MPI-INF-3DHP 数据集评估中也与有监督及弱监督方法表现相当。
引用
@article{arxiv.2205.05980,
title = {"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation},
author = {Peter Hardy and Srinandan Dasmahapatra and Hansung Kim},
journal= {arXiv preprint arXiv:2205.05980},
year = {2022}
}
备注
Paper is being replaced by another piece of similar work