基于通用手部模型从手机扫描获取真实手部头像
计算机视觉与模式识别
2024-05-14 v1
摘要
具备每一可识别信息（如手部形状和纹理）的真实3D手部头像是实现AR/VR中沉浸式体验的关键需求。本文提出了一种通用手部模型（UHM），其主要功能包括：1）能够普遍表示任意身份（ID）的高保真度3D手部网格；2）可通过简短的手机扫描适配每个个体，以实现真实的手部头像。为实现有效的通用手部建模，我们在跟踪与建模之间同时进行处理，而传统3D手部模型则分别完成这两个步骤。常规的分离式管道受制于跟踪阶段积累的误差，而在建模阶段无法恢复。相比之下，我们的方法既避免了误差的累积，又具有更简洁的整体管道。我们还引入了一种新型图像匹配损失函数，以解决跟踪过程中出现的皮肤滑动问题，而现有工作则鲜有关注。最后，利用来自UHM的学习先验，我们有效地将UHM适配到每个人的短手机扫描，以实现真实的手部头像。
引用
@article{arxiv.2405.07933,
title = {Authentic Hand Avatar from a Phone Scan via Universal Hand Model},
author = {Gyeongsik Moon and Weipeng Xu and Rohan Joshi and Chenglei Wu and Takaaki Shiratori},
journal= {arXiv preprint arXiv:2405.07933},
year = {2024}
}
备注
Accepted to CVPR 2024