HiFECap：单目高保真且富有表现力的人体表演捕捉
计算机视觉与模式识别
2022-10-12 v1 人工智能
图形学
摘要
单目3D人体表演捕捉对于计算机图形与视觉中诸多实现沉浸式体验的应用不可或缺。然而，对人体的精细捕捉需要跟踪多个方面，包括骨骼姿态、含衣物的动态表面、手势以及面部表情。现有单目方法均无法联合跟踪所有这些成分。为此，我们提出HiFECap，一种新颖的神经人体表演捕捉方法，仅从单段RGB视频同时捕捉人体姿态、衣物、面部表情与手部。我们证明，我们所提出的网络架构、精心设计的训练策略，以及参数化人脸与手部模型到模板网格的紧密集成，能够实现所有这些独立方面的捕捉。重要的是，我们的方法还能比以往工作更好地捕捉高频细节，例如衣物上变形的褶皱。此外，我们表明HiFECap在定性及定量上均优于最先进的人体表演捕捉方法，并首次捕捉到人体的所有方面。
引用
@article{arxiv.2210.05665,
title = {HiFECap: Monocular High-Fidelity and Expressive Capture of Human Performances},
author = {Yue Jiang and Marc Habermann and Vladislav Golyanik and Christian Theobalt},
journal= {arXiv preprint arXiv:2210.05665},
year = {2022}
}
备注
Got accepted by BMVC2022