面向稳定性与可塑性的简单基线：RDBP方法
机器学习
2025-07-21 v2 人工智能
计算机视觉与模式识别
摘要
计算机视觉中的持续学习要求模型在不忘记先前知识的同时适应连续的任务流，但现有方法往往在稳定性和可塑性之间失衡。我们引入RDBP，这是一个简单且开销低的基线方法，融合两种互补机制：ReLUDown—a种轻量级激活函数修改，旨在保持特征灵敏度同时防止神经元僵死；以及递减式反向传播，一种受生物学启发的梯度调度方案，逐步保护早期层免受灾难性更新。该方法在Continual ImageNet基准上评估，RDBP在保持计算成本低的同时，匹配或超越了当前方法在可塑性和稳定性方面的表现。RDBP因此既为实际持续学习提供了解决方案，也为未来持续学习策略提供了清晰的基准。
引用
@article{arxiv.2507.10637,
title = {A Simple Baseline for Stable and Plastic Neural Networks},
author = {Étienne Künzel and Achref Jaziri and Visvanathan Ramesh},
journal= {arXiv preprint arXiv:2507.10637},
year = {2025}
}
备注
11 pages, 50 figures