FaceFolds：用于高效体积渲染动态人脸的网格辐射流形
计算机视觉与模式识别
2024-04-23 v1 图形学
摘要
3D 渲染动态人脸捕获是一个具有挑战性的问题，要求在多个方面进行改进——光照逼真性、效率、兼容性和可配置性。我们提出了一种新型表示方法，使能够以最小的计算和内存占用对演员的动态面部表演进行高质量的体积渲染。该方法在商品化的图形硬件和软件上原生运行，允许在质量和效率之间进行优雅的权衡。我们利用近期的神经渲染技术，特别是学习离散辐射流形来稀疏采样场景，从而建模体积效应。我们通过学习整个动态序列的单个流形集合来实现高效建模，同时隐式地将外观变化建模为时序标准纹理。我们导出单个分层网格和基于视图的 RGBA 纹理视频，无需额外的机器学习集成即可与传统图形渲染器兼容。我们通过在游戏引擎中渲染真实演员的动态人脸捕获来展示我们的方法，在之前不可见的帧率下，以与最先进的神经渲染技术相当的光照逼真度进行渲染。
引用
@article{arxiv.2404.13807,
title = {FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces},
author = {Safa C. Medin and Gengyan Li and Ruofei Du and Stephan Garbin and Philip Davidson and Gregory W. Wornell and Thabo Beeler and Abhimitra Meka},
journal= {arXiv preprint arXiv:2404.13807},
year = {2024}
}
备注
In Proceedings of the ACM in Computer Graphics and Interactive Techniques, 2024