基于仿射卷积网络的高质量三维人脸重建
计算机视觉与模式识别
2023-10-24 v1 人工智能
图形学
摘要
近期基于卷积编解码器架构与 3DMM 参数化的工作，在从单张输入图像进行规范视角重建方面展现出巨大潜力。常规 CNN 架构得益于利用输入与输出像素间的空间对应关系。然而，在三维人脸重建中，输入图像（如人脸）与规范/UV 输出之间的空间错位使特征编解码过程颇具挑战。本文中，为应对该问题，我们提出一种新网络架构，即仿射卷积网络（Affine Convolution Networks），其使基于 CNN 的方法能够处理空间上不对应的输入与输出图像，同时保持高保真质量的输出。在我们的方法中，从仿射卷积层为每个特征图空间位置学习一个仿射变换矩阵。此外，我们在 UV 空间中以多分量表示三维人头，包括用于纹理表示的漫反射图、用于几何表示的位置图，以及用于恢复真实世界中更复杂光照条件的光照图。所有分量均可在无任何人工标注下训练。我们的方法无参数且可生成分辨率为 512 x 512 像素的高质量 UV 图，而先前方法通常生成 256 x 256 像素或更小。我们的代码将在论文被接收后发布。
引用
@article{arxiv.2310.14237,
title = {High-Quality 3D Face Reconstruction with Affine Convolutional Networks},
author = {Zhiqian Lin and Jiangke Lin and Lincheng Li and Yi Yuan and Zhengxia Zou},
journal= {arXiv preprint arXiv:2310.14237},
year = {2023}
}
备注
9 pages, 11 figures