FaceCLIPNeRF：基于可变形神经辐射场的文本驱动3D人脸编辑
计算机视觉与模式识别
2023-08-21 v3
摘要
随着神经辐射场（NeRF）近期进展实现了高保真3D人脸重建与新视角合成，其编辑也成为了3D视觉中的一项关键任务。然而，现有编辑方法需要大量人力，例如用户提供的语义掩码以及不适用于非专家用户的手动属性搜索。相反，我们的方法设计为仅需一段文本即可编辑用NeRF重建的人脸。为此，我们首先在一个动态场景上训练一个场景编辑器，即潜在码条件的可变形NeRF，以利用潜在码控制人脸形变。然而，用单一潜在码表示场景形变不利于组合在不同实例中观察到的局部形变。因此，我们提出的逐位置条件锚点组合器（PAC）学习用空间变化的潜在码表示被编辑场景。其在场景编辑器下的渲染结果随后被优化，以在CLIP嵌入空间中与目标文本产生高余弦相似度，从而实现文本驱动编辑。据我们所知，我们的方法是首个解决用NeRF重建人脸的文本驱动编辑问题。大量结果、对比与消融研究证明了我们方法的有效性。
引用
@article{arxiv.2307.11418,
title = {FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields},
author = {Sungwon Hwang and Junha Hyung and Daejin Kim and Min-Jung Kim and Jaegul Choo},
journal= {arXiv preprint arXiv:2307.11418},
year = {2023}
}
备注
ICCV 2023 project page at https://faceclipnerf.github.io