基于体素采样的拓扑一致多视角人脸推断

高保真人脸数字化方案常结合多视角立体（MVS）技术进行三维重建，以及非刚性配准步骤以建立跨身份与表情的稠密对应。一个常见问题是 MVS 步骤后需人工清理，因为三维扫描通常受噪声与离群点影响，并包含需由美术师清理的毛状表面区域。此外，网格配准在极端面部表情下往往失败。多数基于学习的方法使用底层三维可变形模型（3DMM）以确保鲁棒性，但这限制了极端表情下的输出精度。并且，回归架构的全局瓶颈无法生成紧密贴合真值表面的网格。我们提出 ToFu（Topologically consistent Face from multi-view，基于多视角的拓扑一致人脸），一种几何推断框架，可使用体素表示而非显式底层 3DMM 生成跨人脸身份与表情拓扑一致的网格。我们新颖的渐进式网格生成网络将人脸拓扑结构嵌入于从几何感知局部特征采样的特征体中。由粗到细的架构在一致网格拓扑下促成稠密且准确的人脸网格预测。ToFu 进一步捕捉位移图以获取毛孔级几何细节，并以反照率与镜面反射图形式支持高质量渲染。这些高质量资产可被制作工作室直接用于虚拟人创建、动画与基于物理的肌肤渲染。我们展示了最先进的几何与对应精度，同时仅用 0.385 秒即可计算含 10K 顶点的网格，比传统技术快三个数量级。代码与模型可在 https://tianyeli.github.io/tofu 获取以供研究。