PIRenderer:基于语义神经渲染的可控人像图像生成
计算机视觉与模式识别
2021-09-20 v1 人工智能
摘要
通过控制现有面部的运动来生成人像图像是一项对社交媒体行业具有重要影响的关键任务。为便于使用和直观控制,应采用语义明确且完全解耦的参数作为修改量。然而,许多现有技术不提供此类细粒度控制,或使用间接编辑方法,即模仿其他个体的运动。本文提出一种人像图像神经渲染器(PIRenderer),利用三维可变形人脸模型(3DMMs)的参数控制面部运动。所提模型可根据直观修改生成具有准确运动的照片级真实感人像图像。在直接与间接编辑任务上的实验均证明了该模型的优越性。同时,我们进一步扩展该模型,通过从音频输入中提取序列运动来处理音频驱动面部重演任务。我们展示,仅借助单张参考图像和驱动音频流,我们的模型即可生成具有令人信服运动的连贯视频。我们的源代码发布于 https://github.com/RenYurui/PIRender。
引用
@article{arxiv.2109.08379,
title = {PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering},
author = {Yurui Ren and Ge Li and Yuanqi Chen and Thomas H. Li and Shan Liu},
journal= {arXiv preprint arXiv:2109.08379},
year = {2021}
}