从易到难任务学习脉冲神经网络
机器学习
2023-09-27 v3
摘要
从细小简单的概念开始，逐步引入复杂困难的概念，是人类学习的自然过程。脉冲神经网络（SNNs）旨在模仿人类处理信息的方式，但当前的 SNNs 模型平等对待所有样本，这不符合人类学习的原则，且忽视了 SNNs 的生物学合理性。为此，我们提出了一种 CL-SNN 模型，将课程学习（CL）引入 SNNs，使 SNNs 的学习更像人类，并提供更高的生物学可解释性。CL 是一种训练策略，主张先向模型呈现较易数据，再逐步引入更具挑战性的数据，以模仿人类学习过程。我们使用置信度感知损失来度量并处理具有不同难度的样本。通过学习不同样本的置信度，模型自动降低困难样本对参数优化的贡献。我们在静态图像数据集 MNIST、Fashion-MNIST、CIFAR10 以及神经形态数据集 N-MNIST、CIFAR10-DVS、DVS-Gesture 上进行了实验。结果令人鼓舞。据我们所知，这是首个通过引入 CL 来增强 SNNs 生物学合理性的提议。
引用
@article{arxiv.2309.04737,
title = {Learning Spiking Neural Network from Easy to Hard task},
author = {Lingling Tang and Jiangtao Hu and Hua Yu and Surui Liu and Jielei Chu},
journal= {arXiv preprint arXiv:2309.04737},
year = {2023}
}