从基于 NeRF 的 GAN 中进行对应蒸馏
计算机视觉与模式识别
2022-12-21 v2
摘要
神经辐射场（NeRF）在保留物体与场景精细细节方面已展现出有前景的结果。然而，与基于网格的表示不同，为同一类别的不同 NeRF 建立稠密对应仍是一个开放问题，而这在许多下游任务中至关重要。该问题的主要困难在于 NeRF 的隐式性质以及缺乏真值对应标注。在本文中，我们展示可以通过利用预训练的基于 NeRF 的 GAN 中所封装的丰富语义与结构先验来绕过这些挑战。具体而言，我们从三个方面利用此类先验：1）以潜码作为全局结构指示器的双形变场，2）将生成器特征视为几何感知局部描述子的学习目标，以及 3）无限的特定物体 NeRF 样本来源。我们的实验表明，此类先验可得到准确、平滑且鲁棒的 3D 稠密对应。我们还展示了在 NeRF 间建立的稠密对应能有效赋能许多基于 NeRF 的下游应用，如纹理迁移。
引用
@article{arxiv.2212.09735,
title = {Correspondence Distillation from NeRF-based GAN},
author = {Yushi Lan and Chen Change Loy and Bo Dai},
journal= {arXiv preprint arXiv:2212.09735},
year = {2022}
}
备注
Project page: https://nirvanalan.github.io/projects/DDF/index.html