基于交互感知3D高斯溅射的单手动画模型
计算机视觉与模式识别
2024-10-14 v1
摘要
本文提出了使用3D高斯溅射(GS)和单图像输入创建与交互手部相关的可动画化模型。现有基于GS的方法由于输入视角有限、手部姿态多样以及遮挡问题，往往难以获得令人满意的结果。为此，我们引入一种新型两阶段交互感知GS框架，利用跨主体手部先验并细化交互区域的3D高斯。具体而言，为处理手部变异，我们将手部的3D表征解耦为优化的身份映射和基于学习的潜在几何特征与神经纹理图。学习型特征由训练好的网络捕获，以提供可靠的姿态、形状和纹理先验，而优化型身份映射则使对超出分布手部的快速拟合成为可能。此外，我们设计了交互感知注意力模块和自适应高斯细化模块。这些模块提高了在手部内部和外部交互区域的图像渲染质量，克服了现有基于GS的方法的局限性。我们的方法通过在大规模InterHand2.6M数据集上的大量实验得到验证，显著提升了当前在图像质量方面的性能。项目页面: \url{https://github.com/XuanHuang0/GuassianHand}。
引用
@article{arxiv.2410.08840,
title = {Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars},
author = {Xuan Huang and Hanhui Li and Wanquan Liu and Xiaodan Liang and Yiqiang Yan and Yuhao Cheng and Chengqiang Gao},
journal= {arXiv preprint arXiv:2410.08840},
year = {2024}
}
备注
Accepted to NeurIPS 2024