EXACFS——一种缓解灾难性遗忘的类增量学习方法
计算机视觉与模式识别
2025-03-04 v2 机器学习
摘要
深度神经网络（DNN）擅长从静态数据集中学习，但在数据顺序到达的持续学习中却表现不佳。灾难性遗忘，即忘记先前所学知识的现象，是一个主要挑战。本文引入了指数平均类特征显著性（EXACFS）方法，以在类增量学习（CIL）环境中缓解此问题。通过使用损失梯度估计模型特征对每个已学类别的显著性，在增量任务过程中逐步老化该显著性，并通过蒸馏损失保留显著特征，EXACFS 有效地平衡了记忆旧知识（稳定性）和学习新知识（可塑性）。在 CIFAR-100 和 ImageNet-100 上的大量实验表明，EXACFS 在获取可塑性的同时，在保持稳定性方面具有优越性能。
引用
@article{arxiv.2410.23751,
title = {EXACFS -- A CIL Method to mitigate Catastrophic Forgetting},
author = {S Balasubramanian and M Sai Subramaniam and Sai Sriram Talasu and Yedu Krishna P and Manepalli Pranav Phanindra Sai and Ravi Mukkamala and Darshan Gera},
journal= {arXiv preprint arXiv:2410.23751},
year = {2025}
}