基于选择性注意调制的持续学习
计算机视觉与模式识别
2024-04-01 v1
摘要
我们提出了SAM，一种受生物启发的选择性注意驱动调制方法，用于在持续学习设置中增强分类模型。受神经生理学证据（初级视觉皮层不参与对象流形解缠以进行分类，且原始注意偏差仍嵌入现代大脑）的启发，我们提出使用辅助显著性预测特征作为调制信号，以驱动和稳定一系列非独立同分布分类任务的学习。实验结果表明，SAM有效增强了最先进持续学习方法的性能（在某些情况下提升高达约二十个百分点），无论是在类增量还是任务增量设置中。此外，我们表明基于注意的调制成功鼓励学习比基线方法对虚假特征和对抗攻击更鲁棒的特征。代码：https://github.com/perceivelab/SAM。
引用
@article{arxiv.2403.20086,
title = {Selective Attention-based Modulation for Continual Learning},
author = {Giovanni Bellitto and Federica Proietto Salanitri and Matteo Pennisi and Matteo Boschini and Angelo Porrello and Simone Calderara and Simone Palazzo and Concetto Spampinato},
journal= {arXiv preprint arXiv:2403.20086},
year = {2024}
}