Hard ASH：稀疏性和正确的优化器造就持续学习者
机器学习
2024-04-30 v1 计算机视觉与模式识别
摘要
在类增量学习中，神经网络通常遭受灾难性遗忘。我们表明，具有稀疏激活函数和自适应学习率优化器的MLP可以在Split-MNIST任务中与已建立的正则化技术竞争。我们强调了自适应Swish（ASH）激活函数在此背景下的有效性，并引入了一种新的变体，Hard Adaptive SwisH（Hard ASH），以进一步增强学习保留。
引用
@article{arxiv.2404.17651,
title = {Hard ASH: Sparsity and the right optimizer make a continual learner},
author = {Santtu Keskinen},
journal= {arXiv preprint arXiv:2404.17651},
year = {2024}
}
备注
ICLR 2024 TinyPaper