SurFhead: 用于几何精确的二维高斯面片头部虚拟形象的仿射刚体混合
图形学
2025-04-21 v2 人工智能
计算机视觉与模式识别
摘要
最近使用高斯原语进行头部虚拟形象渲染的进展取得了显著的高保真结果。尽管精确的头部几何形状对于网格重建和重新照明等应用至关重要,但当前方法难以捕捉复杂的几何细节并渲染未见过的姿态,因为它们依赖于相似变换,无法处理对几何细节变形至关重要的拉伸和剪切变换。为了解决这个问题,我们提出了SurFhead,一种新颖的方法,它使用具有明确定义几何属性的二维高斯面片(例如,来自固定光线交点的精确深度和从其表面方向导出的法线)从RGB视频重建可绑定的头部几何形状,这使得它们比三维对应物更具优势。SurFhead通过利用经典的基于网格的变形传递和仿射变换插值,即使在极端姿态下也能确保法线和图像的高保真渲染。SurFhead引入了精确的几何变形,并通过变换的极分解(包括影响法线的变换)来混合面片。我们的关键贡献在于将经典图形技术(如基于网格的变形)与现代高斯原语桥接起来,实现了最先进的几何重建和渲染质量。与之前的虚拟形象渲染方法不同,SurFhead能够在保持高保真几何形状的同时,实现由高斯原语驱动的高效重建。
引用
@article{arxiv.2410.11682,
title = {SurFhead: Affine Rig Blending for Geometrically Accurate 2D Gaussian Surfel Head Avatars},
author = {Jaeseong Lee and Taewoong Kang and Marcel C. Bühler and Min-Jung Kim and Sungwon Hwang and Junha Hyung and Hyojin Jang and Jaegul Choo},
journal= {arXiv preprint arXiv:2410.11682},
year = {2025}
}
备注
ICLR 2025, Project page with videos: https://summertight.github.io/SurFhead/