3DMM 与 3D landmarks 协同实现精准三维面部几何估计
计算机视觉与模式识别
2024-01-18 v3 图形学
摘要
本研究探讨利用三维可变形模型（3DMM）与三维面部关键点（3D landmarks）的协同过程来预测完整的三维面部几何，包括三维对齐、面部朝向与三维人脸建模。我们的协同过程利用了 3DMM 参数与 3D landmarks 的表示循环。3D landmarks 可由 3DMM 参数构建的人脸网格提取并精炼。我们接下来反转表示方向，表明从稀疏 3D landmarks 预测 3DMM 参数可改善信息流。共同地，我们创建了利用 3D landmarks 与 3DMM 参数之间关系的协同过程，它们协作贡献于更优性能。我们在面部几何预测的全部任务上广泛验证我们的贡献，并展示我们在多种场景下这些任务上的优越且鲁棒的性能。特别地，我们仅采用简单且广泛使用的网络操作来实现快速而准确的人脸几何预测。代码与数据：https://choyingw.github.io/works/SynergyNet/
引用
@article{arxiv.2110.09772,
title = {Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry},
author = {Cho-Ying Wu and Qiangeng Xu and Ulrich Neumann},
journal= {arXiv preprint arXiv:2110.09772},
year = {2024}
}
备注
Accepted at 3DV 2021. This conference version supersedes arXiv:2104.08403