SINE：基于语义驱动的图像NeRF编辑与先验引导编辑场
计算机视觉与模式识别
2023-03-28 v2
摘要
尽管使用Photoshop、语义笔触甚至文本提示等用户友好工具在2D编辑中取得了巨大成功，但3D领域中的类似能力仍然有限，要么依赖3D建模技能，要么仅允许在少数类别内编辑。本文提出一种新颖的语义驱动NeRF编辑方法，使用户能用单张图像编辑神经辐射场，并高保真、多视角一致地呈现编辑后的新视角。为实现该目标，我们提出先验引导编辑场以在3D空间中编码细粒度几何与纹理编辑，并开发一系列技术辅助编辑过程，包括带代理网格的循环约束以促进几何监督、颜色合成机制以稳定语义驱动纹理编辑，以及基于特征簇的正则化以保持无关内容不变。在真实与合成数据上的大量实验和编辑示例表明，我们的方法仅用单张编辑图像即可实现照片级真实3D编辑，推进了3D真实场景中语义驱动编辑的边界。项目主页：https://zju3dv.github.io/sine/。
引用
@article{arxiv.2303.13277,
title = {SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field},
author = {Chong Bao and Yinda Zhang and Bangbang Yang and Tianxing Fan and Zesong Yang and Hujun Bao and Guofeng Zhang and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2303.13277},
year = {2023}
}
备注
Accepted to CVPR 2023. Project Page: https://zju3dv.github.io/sine/