基于神经重参数化优化的大规模 3D 人脸网格视频数据集
计算机视觉与模式识别
2023-10-09 v2 人工智能
摘要
我们提出 NeuFace，一种通过神经重参数化优化在视频上进行 3D 人脸网格伪标注的方法。尽管 3D 人脸重建方法取得了巨大进展，为野外动态视频生成可靠的 3D 人脸标签仍具挑战性。利用 NeuFace 优化，我们在大规模人脸视频上标注了逐视角/逐帧准确且一致的人脸网格，称为 NeuFace 数据集。我们通过梯度分析研究神经重参数化如何帮助在 3D 网格上重建图像对齐的面部细节。通过利用我们数据集中 3D 人脸的自然性与多样性，我们展示了该数据集对 3D 人脸相关任务的有用性：提升现有 3D 人脸重建模型的重建精度，以及学习 3D 面部运动先验。代码与数据集将发布于 https://neuface-dataset.github.io。
引用
@article{arxiv.2310.03205,
title = {A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized Optimization},
author = {Kim Youwang and Lee Hyun and Kim Sung-Bin and Suekyeong Nam and Janghoon Ju and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2310.03205},
year = {2023}
}
备注
9 pages, 7 figures, and 3 tables for the main paper. 8 pages, 6 figures and 3 tables for the appendix