通过平台阶段活动轮廌实现灾难性遗忘缓解
机器学习
2025-07-14 v1 人工智能
摘要
在深度神经网络中，由于知识被覆盖而在学习新任务时导致对先前学习任务性能下降的灾难性遗忘现象。为了缓解此问题，正则化技术旨在识别并约束“重要”参数以保存先前知识。在深度学习的高度非凸优化景观中，我们提出了一种新观点：在最终训练平台期跟踪参数比在整个训练过程中监控参数更为有效。我们认为，在该平台期显示出更高活动（运动和可变性）的参数，揭示了相对平坦的损失景观中的方向，使其适合适应新任务，同时保留先前知识。我们的综合实验表明，这一方法在平衡灾难性遗忘缓解与在新学习任务上获得卓越性能方面具有优势。
引用
@article{arxiv.2507.08736,
title = {Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling},
author = {Idan Mashiach and Oren Glickman and Tom Tirer},
journal= {arXiv preprint arXiv:2507.08736},
year = {2025}
}