GATOR：基于运动解耦回归的图感知Transformer用于从2D姿态恢复人体网格
计算机视觉与模式识别
2023-03-13 v1 人工智能
机器学习
摘要
从2D姿态恢复3D人体网格在各种应用中起着重要作用。然而，现有方法难以同时捕捉从骨架到网格演化过程中的多种关系，包括关节-关节、关节-顶点和顶点-顶点关系，这常常导致不合理的结果。为解决此问题，我们提出了一种称为GATOR的新方案，其包含一个图感知Transformer（GAT）编码器和一个运动解耦回归（MDR）解码器来探索这些多重关系。具体而言，GAT并行结合GCN与图感知自注意力以捕捉物理和隐藏的关节-关节关系。此外，MDR建模关节-顶点和顶点-顶点交互以探索关节与顶点关系。基于顶点偏移场的聚类特性，MDR通过组合预测的基础运动来回归顶点。大量实验表明，GATOR在两个具有挑战性的基准上取得了最先进的性能。
引用
@article{arxiv.2303.05652,
title = {GATOR: Graph-Aware Transformer with Motion-Disentangled Regression for Human Mesh Recovery from a 2D Pose},
author = {Yingxuan You and Hong Liu and Xia Li and Wenhao Li and Ti Wang and Runwei Ding},
journal= {arXiv preprint arXiv:2303.05652},
year = {2023}
}
备注
Accepted by ICASSP 2023