THUNDR：基于 Transformer 的带标记点三维人体重建
计算机视觉与模式识别
2021-06-18 v1
摘要
我们提出 THUNDR，一种基于 transformer 的深度神经网络方法，用于根据单目 RGB 图像重建人的三维姿态与形状。我们方法的关键在于一种中间三维标记点表示，旨在结合无模型输出架构的预测能力，以及如 GHUM——一种近期提出的、端到端训练且具有表现力的全身统计三维人体模型——这类统计人体表面模型的规范化与人体测量保持特性。我们新颖的基于 transformer 的预测流程可聚焦于与任务相关的图像区域，支持自监督机制，并确保解符合人体测量学。我们在 Human3.6M 和 3DPW 上展示了针对完全监督与自监督模型的 state-of-the-art 结果，任务为推断三维人体形状、关节位置与全局平移。此外，我们在野外采集的困难人体姿态上观察到非常稳健的三维重建性能。
引用
@article{arxiv.2106.09336,
title = {THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers},
author = {Mihai Zanfir and Andrei Zanfir and Eduard Gabriel Bazavan and William T. Freeman and Rahul Sukthankar and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:2106.09336},
year = {2021}
}