用于增强脉冲基神经辐射场的自适应时间步训练
计算机视觉与模式识别
2025-08-01 v1 神经与进化计算
摘要
神经辐射场 (NeRF) 基于的模型在 3D 重建和渲染任务中取得了显著的成功。然而，这些模型在训练和推理期间高度依赖于沿着来自多个视角的射线的稠密点采样，导致浮点运算激增，严重限制了其在诸如边缘计算等资源受限场景的使用。脉冲神经网络 (SNNs) 通过离散时间步的二进制脉冲进行通信，因其节能特性而成为具有前景的替代方案。鉴于神经渲染中场景规模和纹理复杂度的内在可变性，以及针对每个场景训练独立模型的常规做法，我们提出了一种基于脉冲的 NeRF 框架，采用动态时间步训练策略，称为 Pretrain-Adaptive Time-step Adjustment (PATA)。该方法在训练期间自动探索渲染质量与时间步长之间的权衡。Consequently，它实现了具有可变时间步的场景自适应推理，并减少了推理过程中的额外计算资源消耗。依托 established Instant-NGP 架构，我们在多个数据集上进行评估。实验结果表明，PATA 能够在保持渲染保真度的同时，将推理时间步降低 64%，能耗降低 61.55%。
引用
@article{arxiv.2507.23033,
title = {Adaptive Time-step Training for Enhancing Spike-Based Neural Radiance Fields},
author = {Ranxi Lin and Canming Yao and Jiayi Li and Weihang Liu and Xin Lou and Pingqiang Zhou},
journal= {arXiv preprint arXiv:2507.23033},
year = {2025}
}