NeRFDeformer: 基于3D场景流的单视图NeRF变换
计算机视觉与模式识别
2024-06-18 v1 人工智能
摘要
我们提出了一种方法，能够基于对原始场景非刚性变换版本的单一观测，自动修改NeRF表示。我们的方法将变换定义为3D流，具体地，定义为定义在场景表面上的3D锚点刚性变换的加权线性混合。为了识别锚点，我们引入了一种新颖的对应算法，该算法首先匹配基于RGB的配对，然后利用多视图信息和3D重投影，通过两步稳健地过滤误匹配。我们还引入了一个新的数据集，用于探索通过单一观测修改NeRF场景的问题。我们的数据集（https://github.com/nerfdeformer/nerfdeformer）包含113个利用47个3D资产的合成场景。我们表明，我们提出的方法优于NeRF编辑方法以及基于扩散的方法，并且我们还探索了过滤对应关系的不同方法。
引用
@article{arxiv.2406.10543,
title = {NeRFDeformer: NeRF Transformation from a Single View via 3D Scene Flows},
author = {Zhenggang Tang and Zhongzheng Ren and Xiaoming Zhao and Bowen Wen and Jonathan Tremblay and Stan Birchfield and Alexander Schwing},
journal= {arXiv preprint arXiv:2406.10543},
year = {2024}
}
备注
8 pages of main paper, CVPR 2024. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024