GenHMR：生成式人体网格恢复
计算机视觉与模式识别
2024-12-20 v1 人工智能
图形学
机器学习
摘要
人体网格恢复(HMR)在许多计算机视觉应用中至关重要；从健康到艺术和娱乐。单图像上的 HMR 主要由产生单一预测的确定性方法来解决。然而，单图像上的 HMR 是一个不明确的问题，由于深度歧义和遮挡。概率方法尝试通过生成和融合多个合理的 3D 重建来解决此问题，但其性能往往落后于确定性方法。本文引入 GenHMR，一种新的生成框架，将单图像上的 HMR 重新表述为图像条件生成任务，显式建模和缓解 2D 到 3D 映射过程中的不确定性。GenHMR 包含两个关键组件：(1) 将 3D 人体姿势转换为潜在空间中离散标记序列的姿势标记化器；(2) 基于输入图像提示以及随机遮蔽的标记序列的图像条件遮蔽变换器，用于学习姿势标记的概率分布。推理期间，模型从所学的条件分布中采样，以迭代解码高置信度姿势标记，从而减少 3D 重建不确定性。为进一步细化重建，提出一种 2D 姿势导向的细化技术，用于在潜在空间中直接微调解码后的姿势标记，这迫使投影到的 3D 人体网格与 2D 姿势线索保持一致。在基准数据集上的实验表明，GenHMR 显著优于最先进的方法。项目网站可在 https://m-usamasaleem.github.io/publication/GenHMR/GenHMR.html 找到。
引用
@article{arxiv.2412.14444,
title = {GenHMR: Generative Human Mesh Recovery},
author = {Muhammad Usama Saleem and Ekkasit Pinyoanuntapong and Pu Wang and Hongfei Xue and Srijan Das and Chen Chen},
journal= {arXiv preprint arXiv:2412.14444},
year = {2024}
}