ImFace++：基于隐式神经表示的高级非线性 3D 可形变人脸模型
计算机视觉与模式识别
2024-10-14 v3
摘要
3D 人脸的精确表示在各种计算机视觉和图形学应用中至关重要。然而，由于数据离散化和模型线性所带来的限制，当前研究难以精确捕捉身份和表情线索，挑战依然存在。本文提出了一种名为 ImFace++ 的新型 3D 可形变人脸模型，旨在利用隐式神经表示学习一个复杂且连续的空间。ImFace++ 首先构建两个显式解耦的形变场，分别对与身份和表情相关的复杂形状进行建模，这同时促进了跨不同人脸形状的点到点对应关系的自动学习。为了捕捉更复杂的人脸细节，模板空间内进一步引入了细化位移场，实现了对个体特定人脸细节的细粒度学习。此外，设计了一个神经混合场（Neural Blend-Field），通过自适应混合一系列局部场来增强表示能力。除 ImFace++ 外，我们还设计了一种改进的学习策略来扩展表情嵌入，从而允许更广泛的表情变化。全面的定性和定量评估表明，ImFace++ 在人脸重建保真度和对应精度方面均显著推进了当前最先进水平。
关键词
引用
@article{arxiv.2312.04028,
title = {ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations},
author = {Mingwu Zheng and Haiyu Zhang and Hongyu Yang and Liming Chen and Di Huang},
journal= {arXiv preprint arXiv:2312.04028},
year = {2024}
}
备注
TPAMI 2024. Project page: https://github.com/MingwuZheng/ImFace/tree/imface%2B%2B. arXiv admin note: text overlap with arXiv:2203.14510