FLAME-in-NeRF：用于自由视角人脸动画的辐射场神经控制
计算机视觉与模式识别
2021-08-12 v1
摘要
本文提出一种用于可控人像视频合成的神级渲染方法。体积神经渲染（如神经辐射场 NeRF）的最新进展已实现静态场景照片级真实新视角合成，效果令人印象深刻。然而，以此类场景表示对动态且可控物体进行建模仍具挑战。本工作中，我们设计了一个系统，既能对人像视频（包括人物与场景背景）进行新视角合成，又能通过低维表情表示对面部表情进行显式控制。我们利用三维可变形人脸模型（3DMM）的表情空间来表示人类面部表情分布，并以此条件化 NeRF 体积函数。此外，我们引入由 3DMM 拟合带来的空间先验，引导网络学习场景外观与面部动作的解耦控制。我们在带表情控制的自由视角人像视频合成上验证了方法的有效性。训练一个场景时，本方法仅需移动设备拍摄的短时长人物视频。
引用
@article{arxiv.2108.04913,
title = {FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation},
author = {ShahRukh Athar and Zhixin Shu and Dimitris Samaras},
journal= {arXiv preprint arXiv:2108.04913},
year = {2021}
}
备注
version 1.0.0