基于 3D 卷积的时序处理增强在静态物体检测中的脉冲神经网络
信息论
2024-12-24 v1 math.IT
摘要
脉冲神经网络 (SNN) 是一类能够处理时空信息的网络模型，具有事件驱动特性和能源效率优势。最近，直接训练的 SNN 在分类任务中已展现出与传统人工神经网络 (ANN) 相当或更好的性能。然而，在物体检测任务中，直接训练的 SNN 在针对基于帧的静态物体数据集（如 COCO2017）进行测试时，仍与 ANN 之间存在显著的性能差距。因此，弥合这一差距，使直接训练的 SNN 能够在这些静态数据集上实现与 ANN 相当的性能，已成为 SNN 开发中的关键挑战之一。为此，本文聚焦于增强 SNN 处理时序信息的独特能力。作为 SNN 核心组件的脉冲神经元在将输入浮点数据转换为二进制脉冲信号的过程中，促进了不同时序通道之间的信息交换。然而，现有的神经元模型在时序信息通信方面仍存在某些局限性。一些研究甚至表明，在 SNN 训练期间禁用时间维度上的反向传播仍可获得良好的训练结果。为提高 SNN 处理时序信息的能力，本文提出用 3D 卷积取代传统 2D 卷积，从而直接将时序信息融入卷积过程。此外，引入神经元内的时序信息循环机制，以进一步增强神经元利用时序信息的效率。实验结果表明，所提出的方法使直接训练的 SNN 在 COCO2017 和 VOC 数据集上能够实现与 ANN 相当的性能。
引用
@article{arxiv.2412.17658,
title = {Private Semantic Communications with Separate Blind Encoders},
author = {Amirreza Zamani and Mikael Skoglund},
journal= {arXiv preprint arXiv:2412.17658},
year = {2024}
}