PyMAF：基于金字塔网格对齐反馈环的 3D 人体姿态与形状回归
计算机视觉与模式识别
2021-08-25 v4
摘要
基于回归的方法最近在从单目图像重建人体网格方面显示出有前景的结果。通过将原始像素直接映射到模型参数，这些方法可以通过神经网络以前馈方式生成参数化模型。然而，参数的微小偏差可能导致估计网格与图像证据之间明显的错位。为解决此问题，我们提出了一种金字塔网格对齐反馈（PyMAF）环，利用特征金字塔并基于深度回归器中网格-图像对齐状态显式修正预测参数。在 PyMAF 中，给定当前预测参数，将从更精细分辨率特征中提取网格对齐证据并反馈用于参数修正。为降低噪声并增强这些证据的可靠性，对特征编码器施加了辅助的逐像素监督，为我们的网络提供网格-图像对应引导以在空间特征中保留最相关信息。我们的方法在包括 Human3.6M、3DPW、LSP 和 COCO 在内的多个基准上得到验证，实验结果表明我们的方法持续改善了重建的网格-图像对齐。带有代码和视频结果的项目页面可在 https://hongwenzhang.github.io/pymaf 找到。
引用
@article{arxiv.2103.16507,
title = {PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop},
author = {Hongwen Zhang and Yating Tian and Xinchi Zhou and Wanli Ouyang and Yebin Liu and Limin Wang and Zhenan Sun},
journal= {arXiv preprint arXiv:2103.16507},
year = {2021}
}
备注
Accepted to ICCV 2021, Oral paper. Code and model available at https://hongwenzhang.github.io/pymaf