面向以对象为中心的 3D 神经场的深度学习
计算机视觉与模式识别
2024-07-16 v2
摘要
近年来，神经场 作为一种有效工具出现，用于编码各种连续信号，如图像、视频、音频和 3D 形状。当应用于 3D 数据时，NFs 为解决普遍存在的离散表示的碎片化和局限性提供了一种方案。然而，鉴于 NFs 本质上是神经网络，目前尚不清楚是否以及如何将它们无缝集成到深度学习流水线中以解决下游任务。本文解决了这一研究问题，并引入了 nf2vec，这是一个能够在单次推理过程中为输入 NF 生成紧凑潜在表示的框架。我们证明 nf2vec 有效地嵌入了由输入 NFs 表示的 3D 对象，并展示了如何将生成的嵌入用于深度学习流水线中以成功解决各种任务，且全程仅处理 NFs。我们在用于表示 3D 表面的几种 NFs 上测试了该框架，例如无符号/有符号距离场和占据场。此外，我们用更复杂的 NFs 演示了我们方法的有效性，这些 NFs 包含 3D 对象的几何和外观，例如神经辐射场。
引用
@article{arxiv.2312.13277,
title = {Deep Learning on Object-centric 3D Neural Fields},
author = {Pierluigi Zama Ramirez and Luca De Luigi and Daniele Sirocchi and Adriano Cardace and Riccardo Spezialetti and Francesco Ballerini and Samuele Salti and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2312.13277},
year = {2024}
}
备注
Extended version of the paper "Deep Learning on Implicit Neural Representations of Shapes" that was presented at ICLR 2023. Accepted at TPAMI. arXiv admin note: text overlap with arXiv:2302.05438