RIN：基于单张图像的有纹理人体模型恢复与模仿

近年来，受 GAN 分离人体姿态与身体内容能力驱动，人体模仿成为热门话题。然而，现有最新方法很少关注三维信息，且为避免自遮挡需要大量输入图像。本文中，我们提出 RIN，一种新颖的基于体素的框架，用于从单张图片重建带纹理的三维模型并用生成模型模仿主体。具体而言，为估计大部分人体纹理，我们提出类 U-Net 的前到后翻译网络。通过输入前后图像，带纹理体素恢复模块使我们能够为体素化人体上色。随后一系列三维姿态通过可流动解耦网络以体素到体素翻译任务引导上色体素。为在训练中将体素投影到二维平面，我们设计了可微分的深度感知渲染器。我们的实验表明，我们的基于体素的模型足以用于人体模仿，且后视图可使用我们的网络可靠估计。基于二维姿态或语义图的先前工作在人体外观不稳定时常常失败，而我们的框架仍能产生具体结果，其竞争力可与多视角输入所想象的结果相媲美。