GSAC：利用高斯溅出为沉浸式虚拟现实和增强现实创建逼真的头像
图形学
2025-04-18 v1 计算机视觉与模式识别
摘要
逼真的头像对虚拟现实 (VR) 和增强现实 (AR) 中的沉浸式应用至关重要，使其能够在培训模拟、远程医疗和虚拟协作等领域实现逼真的人类交互。这些头像桥接了物理世界和数字世界，通过逼真的人类表征改善了用户体验。然而，现有的头像创建技术面临诸多挑战，包括高成本、长创建时间和在虚拟应用中的有限实用性。手动方法（如 MetaHuman）需要大量时间和专业知识，而自动方法（如基于 NeRF 的管道）往往效率不高、面部表情细节有限，无法实现足用于实时应用的渲染速度。通过融合多种前沿技术，我们引入了一个端到端的 3D 高斯溅出 (3DGS) 头像创建管道，该管道利用单目视频输入即可创建可扩展且高效的逼真头像，直接兼容 Unity 游戏引擎。我们的管道包含定制化预处理，使其能够支持“野外”单目视频捕获，实现详细的面部表情重建并嵌入完整 rigged 头像模型。此外，我们presented 一个集成 Unity 的高斯溅出头像编辑器，为 VR/AR 应用开发提供用户友好的环境。实验结果验证了我们预处理管道在标准化自定义数据用于 3DGS 训练方面的有效性，并展示了高斯头像在 Unity 中的多样性，凸显了我们方法在可扩展性和实用性方面的优势。
引用
@article{arxiv.2504.12999,
title = {GSAC: Leveraging Gaussian Splatting for Photorealistic Avatar Creation with Unity Integration},
author = {Rendong Zhang and Alexandra Watkins and Nilanjan Sarkar},
journal= {arXiv preprint arXiv:2504.12999},
year = {2025}
}