无监督深度估计、三维人脸旋转与替换
计算机视觉与模式识别
2018-12-27 v5 机器学习
摘要
我们提出了一种无监督方法，用于学习从单张图像估计三维 (3D) 面部结构，同时预测匹配期望姿态和面部几何的 3D 视点变换。我们通过以无监督方式推断输入图像面部关键点的深度来实现这一点，而不使用任何形式的真实深度信息。我们展示了如何将这些深度作为新可反向传播损失中的中间计算，以预测 3D 仿射变换矩阵的参数，该矩阵将输入面部的推断 3D 关键点映射到期望目标面部几何或姿态上对应的 2D 关键点。我们由此产生的方法称为 DepthNets，因此可用于推断从一个面部姿态到另一个面部姿态的合理 3D 变换，从而实现面部的正面化、转换为 3D 模型，甚至扭曲到另一个姿态和面部几何。最后，我们指出了该构想的某些不足，并探索了对抗图像翻译技术作为后处理步骤，为重新定位到不同姿态或身份的面部重新合成完整的头部图像。
引用
@article{arxiv.1803.09202,
title = {Unsupervised Depth Estimation, 3D Face Rotation and Replacement},
author = {Joel Ruben Antony Moniz and Christopher Beckham and Simon Rajotte and Sina Honari and Christopher Pal},
journal= {arXiv preprint arXiv:1803.09202},
year = {2018}
}
备注
Depth Estimation, Face Rotation, Face Swap, 32nd Conference on Neural Information Processing Systems (NIPS 2018)