神经辐射场码本
计算机视觉与模式识别
2023-05-02 v2 机器学习
摘要
世界的结构化组合表示是实现高层场景理解与向下游任务高效迁移的有希望的一步。为复杂场景与任务学习此类表示仍是一项开放挑战。朝着该目标，我们引入神经辐射场码本 (NRC)，一种通过新视角重建学习以对象为中心表示的可扩展方法。NRC 使用通过体渲染器解码的对象码字典来从新视角重建场景。这使得能够发现跨场景重复出现的视觉与几何模式，并可迁移至下游任务。我们展示 NRC 表示在 THOR 中的对象导航上迁移良好，以 3.1% 成功率优于 2D 与 3D 表示学习方法。我们证明我们的方法能够对更复杂的合成 (THOR) 与真实场景 (NYU Depth) 进行无监督分割，优于先前方法（相对提升 29%）。最后，我们展示 NRC 在 THOR 中将深度排序任务的准确率提高了 5.5%。
引用
@article{arxiv.2301.04101,
title = {Neural Radiance Field Codebooks},
author = {Matthew Wallingford and Aditya Kusupati and Alex Fang and Vivek Ramanujan and Aniruddha Kembhavi and Roozbeh Mottaghi and Ali Farhadi},
journal= {arXiv preprint arXiv:2301.04101},
year = {2023}
}
备注
19 pages, 8 figures, 9 tables