XHand：实时表达手部头像
计算机视觉与模式识别
2024-07-31 v1 人工智能
摘要
手部头像在广泛的数字界面中发挥关键作用，增强用户沉浸感并促进虚拟环境中的自然交互。虽然先前研究聚焦于照片级手部渲染，但对手部几何细节重建的关注不足，这对于渲染质量至关重要。在增强现实与游戏领域，实时渲染至关重要。为此，我们引入一种表达手部头像，命名为XHand，旨在全面实时生成手部形状、外观及变形。为获得细粒度手部网格， 我们利用三个特征嵌入模块分别预测手部变形位移、反照率和线性混合皮肤权重。为实现细粒度网格上的照片级手部渲染，方法采用基于网格的神经渲染器，利用网格拓扑一致性和嵌入模块中的潜在代码。训练期间，提出了一种(part-aware)拉普拉斯平滑策略，通过引入不同的正则化级别有效保持必要细节并消除不必要的伪影。实验评估在InterHand2.6M和DeepHandMesh数据集上表明，XHand能够在 diverse姿态下实时恢复高保真几何与纹理。为复现我们的成果，我们将在 https://github.com/agnJason/XHand 上公开完整实现。
引用
@article{arxiv.2407.21002,
title = {XHand: Real-time Expressive Hand Avatar},
author = {Qijun Gan and Zijie Zhou and Jianke Zhu},
journal= {arXiv preprint arXiv:2407.21002},
year = {2024}
}