JNR：用于紧凑 3D 人脸建模的基于关节的神经绑定表示
计算机视觉与模式识别
2020-07-21 v3
摘要
本文中，我们引入一种利用基于关节的人脸绑定与神经蒙皮网络学习 3D 人脸模型的新方法。得益于基于关节的表示，我们的模型相较先前的基于 blendshape 的模型具有若干显著优势。首先，它非常紧凑，在保持强大建模能力的同时规模小几个数量级。其次，由于每个关节具有语义含义，交互式人脸几何编辑变得更轻松且更直观。第三，通过蒙皮，我们的模型以更简单、更准确且更原则化的方式支持添加口腔内部、眼睛以及配件（头发、眼镜等）。我们认为，由于人脸高度结构化且拓扑一致，无需完全从数据中学习。相反，我们可以利用以人工设计的 3D 人脸绑定形式存在的先验知识来降低数据依赖性，并仅从小型数据集（少于一百个 3D 扫描）学习紧凑而强大的人脸模型。为进一步提升建模能力，我们通过对抗学习训练了一个蒙皮权重生成器。在拟合高质量 3D 扫描（中性与表情）、噪声深度图像和 RGB 图像上的实验表明，即便模型小 10 至 20 倍，其建模能力与 FLAME 和 Facewarehouse 等最先进人脸模型相当。这表明其在移动与边缘设备的图形及视觉应用中具有广泛价值。
引用
@article{arxiv.2007.06755,
title = {JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling},
author = {Noranart Vesdapunt and Mitch Rundle and HsiangTao Wu and Baoyuan Wang},
journal= {arXiv preprint arXiv:2007.06755},
year = {2020}
}
备注
ECCV 2020