CATFormer：当持续学习遇上带动态阈值的脉冲变换器
机器学习
2026-03-17 v1 人工智能
神经与进化计算
图像与视频处理
摘要
尽管深度神经网络在受控环境中表现极为出色，但在数据不可一次性获取且模型必须适应可能或不遵循初始分布的新数据分布的真实世界场景中，它们会失败。基于新数据后续更新会导致已获取的知识丢失，这一现象通常称为灾难性遗忘。相比之下，大脑不受此限制，无论遇到多少任务都能进行学习。现有的脉冲神经网络(SNN)用于类递增学习在任务累积时会出现显著性能下降。我们在此引入CATFormer（情境自适应阈值变换器），一个可扩展框架克服了这一限制。我们观察到，防止遗忘的关键不仅在于突触可塑性，还在于调制神经元的兴奋性。在CATFormer核心是动态阈值逼近-发放脉冲神经元(DTLIF)，它利用情境自适应阈值作为知识保留的主要机制。它配合任务无关的推断的Gated Dynamic Head Selection (G-DHS)机制。对静态(CIFAR-10/100/Tiny-ImageNet)和神经形态(CIFAR10-DVS/SHD)数据集进行大规模评估显示，CATFormer在各种任务划分下均优于现有的无排练的持续学习算法，证明其作为能源高效、真正类递增学习理想架构的优势。
引用
@article{arxiv.2603.15184,
title = {CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds},
author = {Vaishnavi Nagabhushana and Kartikay Agrawal and Ayon Borthakur},
journal= {arXiv preprint arXiv:2603.15184},
year = {2026}
}
备注
Accepted for publication in the proceedings of the Neuro for AI & AI for Neuro Workshop at AAAI 2026 (PMLR)