通过特征场蒸馏分解 NeRF 以实现编辑
计算机视觉与模式识别
2022-10-18 v2 图形学
摘要
新兴的神经辐射场（NeRF）是计算机图形学中一种有前景的场景表示，能够从图像观测中实现高质量的三维重建与新视角合成。然而，编辑由 NeRF 表示的场景具有挑战性，因为底层的连接主义表示（如 MLP 或体素网格）并非以对象为中心或具有组合性。特别是，选择性地编辑特定区域或对象一直较为困难。在本工作中，我们解决 NeRF 的语义场景分解问题，以实现对所表示三维场景的基于查询的局部编辑。我们提出将现成的自监督二维图像特征提取器（如 CLIP-LSeg 或 DINO）的知识蒸馏到一个与辐射场并行优化的三维特征场中。给定用户指定的多种模态查询（如文本、图像块或点选选择），三维特征场无需重新训练即可语义分解三维空间，并使我们能够语义地选择并编辑辐射场中的区域。我们的实验验证，蒸馏特征场（DFF）能够将二维视觉与语言基础模型的最新进展迁移到三维场景表示中，从而实现令人信服的三维分割与新兴神经图形表示的选择性编辑。
引用
@article{arxiv.2205.15585,
title = {Decomposing NeRF for Editing via Feature Field Distillation},
author = {Sosuke Kobayashi and Eiichi Matsumoto and Vincent Sitzmann},
journal= {arXiv preprint arXiv:2205.15585},
year = {2022}
}
备注
Accepted to NeurIPS 2022 https://pfnet-research.github.io/distilled-feature-fields/