基于多任务、多模态与多表示标志点精炼网络的高精度三维面部几何预测
计算机视觉与模式识别
2021-04-20 v1
摘要
本工作聚焦于完整的三维面部几何预测，包括通过三维人脸建模的三维人脸对齐，以及利用所提出的多任务、多模态与多表示标志点精炼网络（M-LRN）进行人脸朝向估计。我们关注重要的面部属性——三维标志点，并充分利用其内嵌信息来引导三维面部几何学习。我们首先提出一种用于标志点精炼的多模态与多表示特征聚合方法。接下来，我们首次研究了从稀疏三维标志点进行三维形变模型（3DMM）回归，并利用多表示优势以获得更好的几何预测。我们在所有三维面部几何学习任务上通过大量实验达到了当前最优（state of the art）。我们细致验证了每种模态与表示的贡献。我们的结果在裁剪人脸、水下场景和极端姿态下均具有鲁棒性。特别地，我们在 M-LRN 中仅采用简单且广泛使用的网络操作，就在人脸朝向估计上比当前最佳性能提升了近 20%。参见我们的项目页面。
引用
@article{arxiv.2104.08403,
title = {Accurate 3D Facial Geometry Prediction by Multi-Task, Multi-Modal, and Multi-Representation Landmark Refinement Network},
author = {Cho-Ying Wu and Qiangeng Xu and Ulrich Neumann},
journal= {arXiv preprint arXiv:2104.08403},
year = {2021}
}
备注
Project page: https://choyingw.github.io/works/M3-LRN/index.html