揭示以替代梯度训练的脉冲神经网络的表征
机器学习
2023-04-27 v1 神经与进化计算
摘要
脉冲神经网络（SNNs）因其生物合理性与能效而被认为是下一代神经网络的候选者。近来，研究者已证明 SNNs 利用替代梯度训练能在图像识别任务中取得近乎最先进的性能。然而，关于 SNNs 存在一些鲜有研究的基本问题：以替代梯度训练的 SNNs 是否学到了不同于传统人工神经网络（ANNs）的表征？SNNs 中的时间维度是否提供了独特的表征能力？本文中，我们旨在通过使用中心核对齐（CKA）对 SNNs 与 ANNs 进行表征相似性分析来回答这些问题。我们首先分析网络的空间维度，包括宽度与深度。此外，我们对残差连接的分析表明，SNNs 学到了一种周期性模式，该模式将 SNNs 中的表征修正为类 ANN 形式。我们还额外探究了时间维度对 SNN 表征的影响，发现更深层沿时间维度催生更多动态。我们也研究了输入数据（如事件流数据与对抗攻击）的影响。我们的工作揭示了 SNNs 表征的一系列新发现。我们希望该工作能启发未来研究充分理解 SNNs 的表征能力。代码发布于 https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA。
引用
@article{arxiv.2304.13098,
title = {Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient},
author = {Yuhang Li and Youngeun Kim and Hyoungseob Park and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2304.13098},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research (TMLR)