增强 SNN 基于时空学习：基准数据集与跨模态注意力模型
计算机视觉与模式识别
2024-10-22 v1 机器学习
神经与进化计算
摘要
脉冲神经网络（SNNs）因其低功耗、类脑结构和时空表征能力而备受关注。近年来，SNNs 受到广泛关注。类似人工神经网络（ANNs），高质量的基准数据集对于推动 SNNs 的发展至关重要。然而，我们的分析表明，许多流行的神经器官数据集缺乏强烈的时序相关性，限制了 SNNs 充分发挥其时空表征能力的潜力。同时，事件和帧模态的集成提供了更全面的视觉时空信息。然而，SNN 基于的跨模态融合仍未得到充分探索。在本工作中，我们提出了称为 DVS-SLR 的神经器官数据集，以更好地发挥 SNNs 天然的时空特性。与现有数据集相比，它在时序相关性、规模和场景多样性方面具有优势。此外，本神经器官数据集包含相应的帧数据，可用于开发 SNN 基于的融合方法。凭借数据集的双模态特性，我们提出了一种基于跨模态注意力（CMA）的融合方法。CMA 模型有效利用每种模态的独特优势，使 SNNs 能够从事件和帧模态的时空特征中学习时空和空间注意力得分，随后在模态之间分配这些得分以增强它们的协同作用。实验结果表明，我们的方法不仅提高了识别准确率，还在 diverse scenarios 中确保了鲁棒性。
引用
@article{arxiv.2410.15689,
title = {Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model},
author = {Shibo Zhou and Bo Yang and Mengwen Yuan and Runhao Jiang and Rui Yan and Gang Pan and Huajin Tang},
journal= {arXiv preprint arXiv:2410.15689},
year = {2024}
}