Spiking PointNet：面向点云的脉冲神经网络
计算机视觉与模式识别
2023-10-11 v1
摘要
近年来，享有极高能效的脉冲神经网络(SNN)在二维视觉识别上引起了大量研究关注，并展现出逐渐增长的应用潜力。然而，SNN能否推广至三维识别仍鲜有探索。为此，我们在本文中提出Spiking PointNet，这是首个用于点云高效深度学习的脉冲神经模型。我们发现，限制SNN在点云中应用的两大障碍是：SNN固有的优化障碍阻碍了具有大时间步的大尺度脉冲模型训练，以及PointNet昂贵的内存与计算开销使得训练大尺度脉冲点模型不切实际。为同时解决上述问题，我们为Spiking PointNet提出了一种训练少但学得多的范式，并给出理论依据与深入实验分析。具体而言，我们的Spiking PointNet仅以单一时间步训练，但在多时间步推理时可获得优于直接以多时间步训练的模型的性能。我们在ModelNet10、ModelNet40上进行了多种实验以证明Spiking PointNet的有效性。值得注意的是，我们的Spiking PointNet甚至能超越其ANN对应模型，这在SNN领域中较为罕见，从而为后续工作提供了潜在研究方向。此外，Spiking PointNet在训练阶段展现出显著的速度提升与存储节省。
引用
@article{arxiv.2310.06232,
title = {Spiking PointNet: Spiking Neural Networks for Point Clouds},
author = {Dayong Ren and Zhe Ma and Yuanpei Chen and Weihang Peng and Xiaode Liu and Yuhan Zhang and Yufei Guo},
journal= {arXiv preprint arXiv:2310.06232},
year = {2023}
}
备注
Accepted by NeurIPS