如何训练神经场表示：一项综合研究与基准测试
计算机视觉与模式识别
2024-06-06 v2
摘要
神经场（Neural Fields, NeFs）最近作为一种通用方法出现，用于对包括图像、形状和场景在内的各种模态的信号进行建模。随后，许多研究探索了将 NeFs 作为下游任务的表示，例如根据拟合到图像的 NeF 参数对图像进行分类。然而，NeF 超参数对其作为下游表示质量的影响鲜为人知，并且在很大程度上仍未被探索。这部分是由于拟合神经场数据集需要大量时间。在这项工作中，我们提出了一个基于 JAX 的库，该库利用并行化实现大规模 NeF 数据集的快速优化，从而显著提速。借助该库，我们进行了一项综合研究，探讨了不同超参数对为下游任务拟合 NeFs 的影响。具体而言，我们探索了共享初始化的使用、过训练的影响以及所用网络架构的表达能力。我们的研究为如何训练 NeFs 提供了有价值的见解，并为优化其在下游应用中的有效性提供了指导。最后，基于所提出的库和我们的分析，我们提出了 Neural Field Arena，这是一个由流行视觉数据集的神经场变体组成的基准测试，包括 MNIST、CIFAR、ImageNet 的变体和 ShapeNetv2。我们的库和 Neural Field Arena 将被开源，以引入标准化基准测试并促进对神经场的进一步研究。
引用
@article{arxiv.2312.10531,
title = {How to Train Neural Field Representations: A Comprehensive Study and Benchmark},
author = {Samuele Papa and Riccardo Valperga and David Knigge and Miltiadis Kofinas and Phillip Lippe and Jan-Jakob Sonke and Efstratios Gavves},
journal= {arXiv preprint arXiv:2312.10531},
year = {2024}
}