使用Transformer进行3D手部重建
计算机视觉与模式识别
2023-12-11 v1
摘要
我们提出了一种可以从单目输入重建3D手部的方法。我们的手部网格恢复方法HaMeR采用完全基于Transformer的架构，与之前的工作相比，能够以显著提高的准确性和鲁棒性分析手部。HaMeR成功的关键在于扩展了用于训练的数据量以及用于手部重建的深度网络容量。对于训练数据，我们结合了包含2D或3D手部标注的多个数据集。对于深度模型，我们使用大规模视觉Transformer架构。我们的最终模型在流行的3D手部姿态基准测试中持续优于之前的基线。为了进一步评估我们的设计在非受控环境中的效果，我们使用2D手部关键点标注对现有的野外数据集进行了标注。在这个新收集的标注数据集HInt上，我们展示了相对于现有基线的显著改进。我们在项目网站上提供代码、数据和模型：https://geopavlakos.github.io/hamer/。
引用
@article{arxiv.2312.05251,
title = {Reconstructing Hands in 3D with Transformers},
author = {Georgios Pavlakos and Dandan Shan and Ilija Radosavovic and Angjoo Kanazawa and David Fouhey and Jitendra Malik},
journal= {arXiv preprint arXiv:2312.05251},
year = {2023}
}