带纹理的神经化身
计算机视觉与模式识别
2019-05-22 v1 人工智能
机器学习
摘要
我们提出了一个学习全身神经化身的系统，即针对不同的身体姿态和相机位置生成人物全身渲染图像的深度网络。我们的系统走的是经典图形管线与近期使用图像到图像翻译生成人物图像的深度学习方法之间的中间路线。具体而言，我们的系统估计模型表面的显式二维纹理图。同时，它避免了对三维形状的显式建模。相反，在测试时，系统使用全卷积网络将身体特征点相对于相机的配置直接映射到图像帧中各个像素的二维纹理坐标。我们表明，这样的系统能够在以三维姿态和前景掩码标注的视频上进行训练的同时，学会生成逼真的渲染图像。我们还证明，与采用直接图像到图像翻译的系统相比，保持显式纹理表示有助于我们的系统实现更好的泛化能力。
引用
@article{arxiv.1905.08776,
title = {Textured Neural Avatars},
author = {Aliaksandra Shysheya and Egor Zakharov and Kara-Ali Aliev and Renat Bashirov and Egor Burkov and Karim Iskakov and Aleksei Ivakhnenko and Yury Malkov and Igor Pasechnik and Dmitry Ulyanov and Alexander Vakhitov and Victor Lempitsky},
journal= {arXiv preprint arXiv:1905.08776},
year = {2019}
}