基于递归细分四棱的可变形 NeRF
计算机视觉与模式识别
2024-10-08 v1 图形学
摘要
尽管神经光谱场(NeRF)在新视角合成方面显示出前景，但其隐式表示限制了对对象操作的显式控制。现有研究提出将显式几何代理集成以实现变形。然而，这些方法面临两个主要挑战:首先，四棱化过程耗时且计算密集;其次，处理复杂或细薄结构常导致过多存储密集型四棱网格或质量不佳的网格，从而影响变形能力。为此，我们提出DeformRF方法，无缝集成四棱网格的操作性与特征网格表示的高质量渲染能力。为避免病态四棱和为每个对象进行四棱化，我们提出两阶段训练策略。首先使用接近规则的四棱网格，模型保留包围对象的关键四棱，然后在第二个阶段使用更细粒度的网格细化对象细节。我们还提出递归细分四棱概念，以隐式创建更高分辨率网格。这实现了多分辨率编码，仅需存储第一个训练阶段生成的粗糙四棱网格。我们在合成数据集和真实捕获数据集上全面评估了DeformRF。定量和定性结果均显示我们方法在新视角合成和变形任务方面的有效性。项目页面: https://ustc3dv.github.io/DeformRF/
引用
@article{arxiv.2410.04402,
title = {Deformable NeRF using Recursively Subdivided Tetrahedra},
author = {Zherui Qiu and Chenqu Ren and Kaiwen Song and Xiaoyi Zeng and Leyuan Yang and Juyong Zhang},
journal= {arXiv preprint arXiv:2410.04402},
year = {2024}
}
备注
Accepted by ACM Multimedia 2024. Project Page: https://ustc3dv.github.io/DeformRF/