HyperFields：面向从文本零样本生成 NeRF
计算机视觉与模式识别
2024-06-14 v3
摘要
我们提出 HyperFields，一种通过单次前向传播（以及可选的微调）生成文本条件神经辐射场（NeRFs）的方法。我们方法的关键在于：(i) 一个动态超网络，其学习从文本词元嵌入到 NeRFs 空间的平滑映射；(ii) NeRF 蒸馏训练，其将编码在单个 NeRFs 中的场景蒸馏到一个动态超网络中。这些技术使单个网络能够拟合超过一百个独特场景。我们进一步证明，HyperFields 学习了更通用的文本与 NeRFs 之间的映射，因此能够预测新颖的分布内与分布外场景——无论是零样本还是通过少量微调步骤。由于学习到的通用映射，微调 HyperFields 受益于加速收敛，并且能够以比现有基于神经优化的方法快 5 到 10 倍的速度合成新颖场景。我们的消融实验表明，动态架构与 NeRF 蒸馏对 HyperFields 的表达能力都至关重要。
引用
@article{arxiv.2310.17075,
title = {HyperFields: Towards Zero-Shot Generation of NeRFs from Text},
author = {Sudarshan Babu and Richard Liu and Avery Zhou and Michael Maire and Greg Shakhnarovich and Rana Hanocka},
journal= {arXiv preprint arXiv:2310.17075},
year = {2024}
}
备注
Accepted to ICML 2024, Project page: https://threedle.github.io/hyperfields/