ALADE-SNN：用于类增量学习的动态可扩展脉冲神经网络中的自适应逻辑对齐
计算机视觉与模式识别
2024-12-18 v1
摘要
受人脑在不遗忘先验知识的情况下适应新任务的能力启发，我们开发了具有动态结构的脉冲神经网络（SNN）用于类增量学习（CIL）。我们的对比实验表明，有限的数据集会在任务间的 logits 分布中引入偏差。来自冻结的过去任务提取器的固定特征可能导致过拟合，并阻碍新任务的学习。为了应对这些挑战，我们提出了 ALADE-SNN 框架，该框架包括用于平衡特征表示的自适应 logits 对齐，以及在训练期间管理将冻结的旧特征映射到新类的权重的 OtoN 抑制，并在微调期间释放它们。这种方法根据分析观察动态调整网络架构，改善了特征提取并平衡了新旧任务之间的性能。实验结果表明，ALADE-SNN 在 CIFAR100-B0 基准上经过 10 个增量步骤后实现了 75.42 的平均增量准确率。ALADE-SNN 不仅匹配了基于 DNN 的方法的性能，还超越了基于 SNN 的最先进持续学习算法。这一进展增强了神经形态计算中的持续学习，为实时数据处理提供了一种受大脑启发的、节能的解决方案。
引用
@article{arxiv.2412.12696,
title = {ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning},
author = {Wenyao Ni and Jiangrong Shen and Qi Xu and Huajin Tang},
journal= {arXiv preprint arXiv:2412.12696},
year = {2024}
}