面向姿态的 Transformer 与不确定性引导精修用于 2D 到 3D 人体姿态估计
计算机视觉与模式识别
2023-02-16 v1
摘要
近来，由于 transformer 在建模长期依赖方面的强大能力，将其引入三维人体姿态估计（HPE）引起了广泛关注。然而，现有基于 transformer 的方法将身体关节视为同等重要的输入，并在自注意力机制中忽略了人体骨架拓扑的先验知识。为解决此问题，本文中我们提出了一种具有不确定性引导精修的面向姿态的 Transformer（POT）用于三维 HPE。具体而言，我们首先为 POT 开发了新颖的面向姿态的自注意力机制与距离相关位置嵌入，以显式利用人体骨架拓扑。面向姿态的自注意力机制显式建模身体关节间的拓扑交互，而距离相关位置嵌入则编码关节到根关节的距离，以区分回归中难度不同的关节组。此外，我们提出了一种不确定性引导精修网络（UGRN），通过考虑每个关节的估计不确定性并采用不确定性引导采样策略与自注意力机制，来精修来自 POT 的姿态预测，尤其是困难关节。大量实验表明，在 Human3.6M 和 MPI-INF-3DHP 等三维 HPE 基准上，我们的方法以更少的模型参数显著优于最先进的方法。
引用
@article{arxiv.2302.07408,
title = {Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation},
author = {Han Li and Bowen Shi and Wenrui Dai and Hongwei Zheng and Botao Wang and Yu Sun and Min Guo and Chenlin Li and Junni Zou and Hongkai Xiong},
journal= {arXiv preprint arXiv:2302.07408},
year = {2023}
}
备注
accepted by AAAI2023