一种从静态域到事件域的脉冲神经网络高效知识迁移策略
计算机视觉与模式识别
2024-02-06 v2
摘要
脉冲神经网络（SNNs）具有丰富的时空动态，适用于处理基于事件的神经形态数据。然而，基于事件的数据集通常比静态数据集标注更少。这种小规模数据使SNN容易过拟合并限制其性能。为提升SNN在基于事件数据集上的泛化能力，我们利用静态图像辅助SNN在事件数据上的训练。本文中，我们首先讨论了直接将静态数据集上训练的网络迁移到事件数据时遇到的域失配问题。我们认为特征分布的不一致成为阻碍从静态图像到事件数据有效迁移知识的主要因素。为解决该问题，我们从特征分布与训练策略两方面提出方案。首先，我们提出知识迁移损失，由域对齐损失与时空正则化组成。域对齐损失通过减小静态图像与事件数据间的边缘分布距离来学习域不变空间特征。时空正则化以事件数据各时间步输出特征作为正则项，为域对齐损失提供动态可学习系数。此外，我们提出滑动训练策略，以概率逐步将静态图像输入替换为事件数据，从而使网络训练更平滑稳定。我们在包括N-Caltech101、CEP-DVS和N-Omniglot的神经形态数据集上验证了方法。实验结果表明，相较当前最优方法，所提方法在所有数据集上均取得更好性能。代码见 https://github.com/Brain-Cog-Lab/Transfer-for-DVS。
引用
@article{arxiv.2303.13077,
title = {An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain},
author = {Xiang He and Dongcheng Zhao and Yang Li and Guobin Shen and Qingqun Kong and Yi Zeng},
journal= {arXiv preprint arXiv:2303.13077},
year = {2024}
}
备注
Accepted by AAAI 2024 (Oral). Code is available at https://github.com/Brain-Cog-Lab/Transfer-for-DVS