基于神经逆渲染的面部视频高质量网格混合形状生成
图形学
2024-08-21 v2 计算机视觉与模式识别
摘要
易于编辑的网格混合形状已广泛应用于动画管线，而神经几何和外观表示的最新进展使得高质量逆渲染成为可能。基于这些观察，我们引入了一种新技术，该技术利用最先进的神经逆渲染，从单目或稀疏多视角视频重建基于网格的混合形状绑定。我们首先构建一种变形表示，将顶点位移参数化为具有四面体连接的微分坐标，从而允许在高分辨率网格上进行高质量的顶点变形。通过在此表示中构建一组语义约束，我们实现了混合形状和表情系数的联合优化。此外，为了实现具有非同步摄像头的用户友好型多视角设置，我们提出了一种神经回归器来建模时变运动参数。该方法隐式考虑了多个摄像头之间的时间差异，提高了运动建模的准确性。实验表明，通过灵活输入单目或稀疏多视角视频，我们重建了个性化的高保真混合形状。这些混合形状在几何和语义上都是准确的，并且与工业动画管线兼容。代码和数据可在https://github.com/grignarder/high-quality-blendshape-generation获取。
引用
@article{arxiv.2401.08398,
title = {High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering},
author = {Xin Ming and Jiawei Li and Jingwang Ling and Libo Zhang and Feng Xu},
journal= {arXiv preprint arXiv:2401.08398},
year = {2024}
}