用于可重绘和可交互面部渲染的即时面部高斯Translator
图形学
2024-10-01 v2
摘要
我们提出 GauFace，这是一种新颖的高斯溅写表示，专为高效动画和渲染基于物理的面部资产而设计。利用强几何先验和受限优化，GauFace 确保干净且结构化的高斯表示，实现高保真度和实时面部交互，在 Snapdragon 8 Gen 2 移动平台上可达到 30fps@1440p。随后，我们引入 TransGS，这是一种扩散变换器，可即时将基于物理的面部资产转换为相应的 GauFace 表示。具体而言，我们采用基于补丁的管道有效处理大量高斯。我们还引入一种新颖的像素对齐抽样方案，结合 UV 位置编码，以确保 TransGS 生成的 GauFace 资产的吞吐量和渲染质量。训练完成后，TransGS 可即时将带有光照条件的面部资产转换为 GauFace 表示。凭借丰富的条件模态，该方法还支持类似传统 CG 流水线的编辑和动画功能。我们进行了广泛的评估和用户研究，与传统离线和在线渲染器，以及最近的神经渲染方法进行比较，结果表明我们的方法在面部资产渲染方面表现优异。我们还展示了在各种平台（包括 PC、手机乃至 VR 头显）上使用 TransGS 和 GauFace 表示进行面部资产的多样化沉浸式应用。
引用
@article{arxiv.2409.07441,
title = {Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering},
author = {Dafei Qin and Hongyang Lin and Qixuan Zhang and Kaichun Qiao and Longwen Zhang and Zijun Zhao and Jun Saito and Jingyi Yu and Lan Xu and Taku Komura},
journal= {arXiv preprint arXiv:2409.07441},
year = {2024}
}
备注
Project Page: https://dafei-qin.github.io/TransGS.github.io/