用于三维人体网格恢复的分布与深度感知 Transformer
计算机视觉与模式识别
2024-03-15 v1 人工智能
摘要
使用野外数据进行精确的人体网格恢复（HMR）是一项艰巨的挑战，常常受到深度模糊和精度降低的阻碍。现有工作要么求助于姿态先验，要么求助于多视图或点云信息等多模态数据，尽管他们的方法经常忽略单张图像中固有的宝贵场景深度信息。此外，由于姿态、形状和深度的固有变化，实现对分布外（OOD）数据的鲁棒 HMR 极具挑战性。因此，理解潜在分布成为人体建模中的一个关键子问题。出于对明确且鲁棒的人体建模的需求，我们提出了分布与深度感知人体网格恢复（D2A-HMR），这是一种端到端的 Transformer 架构，经过精心设计以最小化分布之间的差异并利用先前的深度信息融入场景深度。我们的方法在某些场景下处理 OOD 数据表现出卓越的性能，同时在受控数据集上始终取得与最先进的 HMR 方法相媲美的结果。
引用
@article{arxiv.2403.09063,
title = {Distribution and Depth-Aware Transformers for 3D Human Mesh Recovery},
author = {Jerrin Bright and Bavesh Balaji and Harish Prakash and Yuhao Chen and David A Clausi and John Zelek},
journal= {arXiv preprint arXiv:2403.09063},
year = {2024}
}
备注
Submitted to 21st International Conference on Robots and Vision (CRV'24), Guelph, Ontario, Canada