通过相对信息编码提升三维人体姿态估计的鲁棒性与精度
计算机视觉与模式识别
2021-07-30 v1 人工智能
摘要
现有大多数三维人体姿态估计方法主要关注预测根关节与其他人体关节之间的三维位置关系（局部运动），而非人体整体的轨迹（全局运动）。尽管这些方法取得了巨大进展，但它们对全局运动不够鲁棒，且缺乏准确预测小运动范围局部运动的能力。为缓解这两个问题，我们提出了一种产生位置和时间增强表示的相对信息编码方法。首先，我们利用二维姿态的相对坐标编码位置信息，以增强输入与输出分布之间的一致性。相同姿态的不同绝对二维位置可映射至一个共同表示，有利于抵抗全局运动对预测结果的干扰。其次，我们通过在当前姿态与同一人在一段时间内的其他姿态之间建立联系来编码时间信息。更多的注意力将放在当前姿态前后的运动变化上，从而在小运动范围的局部运动上获得更好的预测性能。消融实验验证了所提相对信息编码方法的有效性。此外，我们将多阶段优化方法引入整个框架，以进一步利用位置和时间增强表示。我们的方法在两个公开数据集上优于当前最优（SOTA）方法。代码见 https://github.com/paTRICK-swk/Pose3D-RIE。
引用
@article{arxiv.2107.13994,
title = {Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation},
author = {Wenkang Shan and Haopeng Lu and Shanshe Wang and Xinfeng Zhang and Wen Gao},
journal= {arXiv preprint arXiv:2107.13994},
year = {2021}
}
备注
In Proceedings of the 29th ACM International Conference on Multimedia (MM '21)