CoNFies：可控神经人脸化身
计算机视觉与模式识别
2022-11-17 v1
摘要
神经辐射场（NeRF）是从 2D 图像集合建模动态 3D 场景的引人注目的技术。这些体表示本适于合成新颖面部表情，但存在两个问题。首先，可形变 NeRF 是对象不可知的，并对场景整体运动建模：它们能重放运动随时间的变化，却无法以可解释方式改变它。其次，可控体表示通常需要耗时的手动标注或 3D 监督来赋予场景语义含义。我们提出一种用于人脸自画像的可控神经表示（CoNFies），在同一框架内解决这两个问题，且可依赖自动化处理。我们使用自动面部动作识别（AFAR）将面部表情刻画为动作单元（AU）及其强度的组合。AU 为系统提供语义位置与控制标签。CoNFies 在新视角与表情合成上，于表情的视觉与解剖保真度方面优于竞争方法。
引用
@article{arxiv.2211.08610,
title = {CoNFies: Controllable Neural Face Avatars},
author = {Heng Yu and Koichiro Niinuma and Laszlo A. Jeni},
journal= {arXiv preprint arXiv:2211.08610},
year = {2022}
}
备注
accepted by FG2023