FeatureNeRF：通过蒸馏基础模型学习可泛化NeRF
计算机视觉与模式识别
2024-04-10 v1
摘要
近期关于可泛化NeRF的研究在基于单张或少量图像的新视角合成上取得了有前景的结果。然而，此类模型很少被应用于合成之外的其他下游任务，如语义理解与解析。本文提出一种名为FeatureNeRF的新颖框架，通过蒸馏预训练的视觉基础模型（如DINO、Latent Diffusion）来学习可泛化NeRF。FeatureNeRF借助神经渲染将2D预训练基础模型迁移至3D空间，并从NeRF MLP中提取3D查询点的深度特征。因此，它可将2D图像映射到连续的3D语义特征体，用于各种下游任务。我们在2D/3D语义关键点迁移和2D/3D物体部件分割任务上评估了FeatureNeRF。大量实验证明了FeatureNeRF作为可泛化3D语义特征提取器的有效性。我们的项目页面位于 https://jianglongye.com/featurenerf/ 。
引用
@article{arxiv.2303.12786,
title = {FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models},
author = {Jianglong Ye and Naiyan Wang and Xiaolong Wang},
journal= {arXiv preprint arXiv:2303.12786},
year = {2024}
}
备注
Project page: https://jianglongye.com/featurenerf/