基于组合神经辐射场的语义三维感知人像合成与编辑
计算机视觉与模式识别
2023-04-11 v2
摘要
近来，结合神经辐射场的3D感知GAN方法发展迅速。然而，现有方法将整幅图像建模为统一的神经辐射场，限制了合成结果的局部语义可编辑性。由于NeRF逐像素渲染图像，可在空间维度上拆分NeRF。我们提出一种组合神经辐射场（CNeRF）用于语义三维感知人像合成与编辑。CNeRF按语义区域划分图像，并为每个区域学习独立的神经辐射场，最终融合渲染出完整图像。由此我们可独立编辑合成的语义区域，同时保持其他部分不变。此外，CNeRF还设计用于解耦每个语义区域内的形状与纹理。相较最先进的3D感知GAN方法，我们的方法支持细粒度语义区域编辑，同时保持高质量的三维一致合成。消融实验表明了我们所使用方法的结构与损失函数的有效性。此外，真实图像反演与卡通人像三维编辑实验展示了我们方法的应用潜力。
引用
@article{arxiv.2302.01579,
title = {Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field},
author = {Tianxiang Ma and Bingchuan Li and Qian He and Jing Dong and Tieniu Tan},
journal= {arXiv preprint arXiv:2302.01579},
year = {2023}
}
备注
Accepted by AAAI2023 Oral