在脉冲神经网络中探索彩票假设
人工智能
2022-07-22 v2 计算机视觉与模式识别
摘要
脉冲神经网络（SNNs）近年来作为新一代低功耗深度神经网络崭露头角，适合部署于低功耗移动/边缘设备。由于此类设备存储有限，近年来针对 SNN 的神经网络剪枝被广泛研究。现有 SNN 剪枝工作多聚焦于浅层 SNN（2~6 层），然而最先进的 SNN 研究已提出深层 SNN（>16 层），难以与当前 SNN 剪枝工作兼容。为将剪枝技术扩展至深层 SNN，我们研究了彩票假设（LTH），该假设指出稠密网络包含可达到与稠密网络相当性能的小子网络（即中奖彩票）。我们对 LTH 的研究揭示，中奖彩票在各种数据集与架构的深层 SNN 中一致存在，可在性能无大幅退化的情况下实现高达 97% 的稀疏度。然而，LTH 的迭代搜索过程结合 SNN 的多时间步会带来巨大的训练计算开销。为缓解此沉重搜索成本，我们提出早期时间（ET）彩票，从较少时间步中确定重要的权重连接。所提 ET 彩票可与寻找中奖彩票的常用剪枝技术无缝结合，如迭代幅度剪枝（IMP）与早鸟（EB）彩票。实验结果表明，相较 IMP 或 EB 方法，所提 ET 彩票将搜索时间最多减少 38%。代码已发布于 Github。
引用
@article{arxiv.2207.01382,
title = {Exploring Lottery Ticket Hypothesis in Spiking Neural Networks},
author = {Youngeun Kim and Yuhang Li and Hyoungseob Park and Yeshwanth Venkatesha and Ruokai Yin and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2207.01382},
year = {2022}
}
备注
Accepted to European Conference on Computer Vision (ECCV) 2022