SpikingNeRF：让生物启发式神经网络看清真实世界
神经与进化计算
2024-11-20 v4 人工智能
计算机视觉与模式识别
摘要
本文提出 SpikingNeRF，其将脉冲神经网络（SNNs）的时间维度与辐射光线对齐，以无缝适配 SNNs 到神经辐射场（NeRF）的重建中。由此，计算转变为基于脉冲、无乘法的形式，降低了能耗，并首次使高质量三维渲染可在神经形态硬件上实现。在 SpikingNeRF 中，光线上每个采样点匹配到特定时间步，并以混合方式表示，同时维护体素网格。基于体素网格，确定采样点是否被掩码剔除以加速训练与推理。然而，该掩码操作也导致不规则的时间长度，使 GPU 等硬件处理器难以进行并行训练。为此，我们提出时间填充策略处理被掩码样本以维持规则时间长度（即规则张量），并进一步提出时间压缩策略形成更稠密的数据结构以便于硬件计算。在多个数据集上的实验表明，本方法平均降低能耗 70.79%，并取得与 ANN 基线相当的合成质量。在神经形态硬件加速器上的验证也显示，SpikingNeRF 相比 ANN 基线可进一步从神经形态计算中获益于能效。代码与附录见 \url{https://github.com/Ikarosy/SpikingNeRF-of-CASIA}。
引用
@article{arxiv.2309.10987,
title = {SpikingNeRF: Making Bio-inspired Neural Networks See through the Real World},
author = {Xingting Yao and Qinghao Hu and Fei Zhou and Tielong Liu and Zitao Mo and Zeyu Zhu and Zhengyang Zhuge and Jian Cheng},
journal= {arXiv preprint arXiv:2309.10987},
year = {2024}
}