PyMAF-X：面向单目图像中良好对齐的全身体模型回归
计算机视觉与模式识别
2026-01-27 v4
摘要
我们提出 PyMAF-X，一种基于回归的方法，用于从单目图像中恢复参数化全身体模型。该任务极具挑战性，因为微小的参数偏差可能导致估计网格与输入图像之间出现明显的不对齐。此外，在将部位特定的估计整合到全身体模型中时，现有方案往往要么降低对齐质量，要么产生不自然的手腕姿态。为解决这些问题，我们在回归网络中提出金字塔网格对齐反馈（PyMAF）循环以实现良好对齐的人体网格恢复，并将其扩展为 PyMAF-X 以恢复具有表现力的全身体模型。PyMAF 的核心思想是利用特征金字塔，并基于网格-图像对齐状态显式地修正预测参数。具体而言，给定当前预测的参数，将从更精细分辨率的特征中提取网格对齐证据，并反馈用于参数修正。为增强对齐感知，我们采用辅助密集监督以提供网格-图像对应引导，同时引入空间对齐注意力以使网络具备全局上下文感知能力。在将 PyMAF 扩展至全身体网格恢复时，PyMAF-X 中提出了一种自适应整合策略，在保持部位特定估计的良好对齐性能的同时产生自然的手腕姿态。我们的方法在身体、手、面部和全身体网格恢复的多个基准数据集上得到验证，PyMAF 和 PyMAF-X 有效改善了网格-图像对齐并取得了新的 SOTA 结果。包含代码和视频结果的项目页面见 https://zhanghongwen.cn/pymaf-x。
引用
@article{arxiv.2207.06400,
title = {PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images},
author = {Hongwen Zhang and Yating Tian and Yuxiang Zhang and Mengcheng Li and Liang An and Zhenan Sun and Yebin Liu},
journal= {arXiv preprint arXiv:2207.06400},
year = {2026}
}
备注
Article in IEEE TPAMI 2023, Update project page: https://zhanghongwen.cn/pymaf-x, An eXpressive extension of PyMAF [arXiv:2103.16507] for monocular human/hand/face/whole-body motion capture