一种用于从2D人体姿态重建人体网格的轻量级图Transformer网络
计算机视觉与模式识别
2022-07-19 v3 人工智能
人机交互
摘要
现有的基于深度学习的人体网格重建方法倾向于构建更大的网络以实现更高的精度。尽管计算复杂度和模型大小是人体网格重建模型（例如虚拟试穿系统）实际应用的关键特性，但它们常常被忽视。在本文中，我们提出了GTRS，一种基于姿态的轻量级方法，可以从2D人体姿态重建人体网格。我们提出了一个姿态分析模块，利用图Transformer来挖掘结构化和隐式的关节相关性，以及一个网格回归模块，将提取的姿态特征与网格模板相结合以重建最终的人体网格。我们通过在Human3.6M和3DPW数据集上的广泛评估，证明了GTRS的效率和泛化能力。特别地，在具有挑战性的野外3DPW数据集上，GTRS仅使用10.2%的参数量和2.5%的FLOPs，就达到了比当前最优的基于姿态的方法Pose2Mesh更好的精度。代码将公开。
引用
@article{arxiv.2111.12696,
title = {A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose},
author = {Ce Zheng and Matias Mendieta and Pu Wang and Aidong Lu and Chen Chen},
journal= {arXiv preprint arXiv:2111.12696},
year = {2022}
}
备注
ACM Multimedia 2022