基于神经网络与视觉几何的混合式 3D 头部重建方法
计算机视觉与模式识别
2021-04-29 v1
摘要
从单张输入图像恢复人脸的三维几何结构是计算机视觉中一个具有挑战性的活跃研究方向。本文提出一种基于深度学习和几何技术的混合方法，从单张或多张图像重建 3D 头部。我们提出一个基于 U-net 架构且仅在合成数据上训练的编码器-解码器网络。它从单张输入照片预测逐像素法向量与地标图。地标用于姿态计算和优化问题的初始化，而该优化问题进而利用参数化可变形模型与法向量场重建 3D 头部几何。在单视图与多视图设定下，通过定性与定量评估测试均取得了最先进的结果。尽管模型仅在合成数据上训练，它仍能成功恢复真实世界图像的 3D 几何与精确姿态。
引用
@article{arxiv.2104.13710,
title = {Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry},
author = {Oussema Bouafif and Bogdan Khomutenko and Mohamed Daoudi},
journal= {arXiv preprint arXiv:2104.13710},
year = {2021}
}
备注
25th International Conference On Pattern Recognition 2020