SMPLpix：基于三维人体模型生成的神经化身
计算机视觉与模式识别
2020-11-10 v2
摘要
深度生成模型的最新进展使得合成生成的人体图像达到了前所未有的真实感水平。然而，这些模型 remaining 的根本性局限之一在于灵活控制生成过程的能力，例如在不改变主体身份的情况下改变相机和人体姿态。与此同时，像 SMPL 及其后续版本这样的可变形人体模型提供了对姿态和形状的完全控制，但依赖于经典计算机图形学管线进行渲染。此类渲染管线需要显式的网格光栅化，其（a）无法修复原始三维几何中的伪影或真实感不足，且（b）直到最近都未完全集成到深度学习框架中。在这项工作中，我们提议弥合基于经典几何的渲染与在像素空间中运行的最新生成网络之间的差距。我们训练了一个网络，直接将稀疏的三维网格顶点集转换为照片级真实感图像，从而免除了传统光栅化机制的需要。我们在大规模人体三维模型及相应真实照片语料库上训练模型，并展示了相比传统可微渲染器在照片真实感水平和渲染效率两方面的优势。
引用
@article{arxiv.2008.06872,
title = {SMPLpix: Neural Avatars from 3D Human Models},
author = {Sergey Prokudin and Michael J. Black and Javier Romero},
journal= {arXiv preprint arXiv:2008.06872},
year = {2020}
}