正确实现的弹性权重整合：持续学习中的关键技术

在持续学习（CL）中，权重正则化方法通过评估和惩罚重要模型权重的变化来缓解灾难性遗忘。弹性权重整合（EWC）是该框架中基础且广泛使用的一种方法，基于梯度估计权重重要性。然而，它始终表现出次优性能。本文从梯度导视的角度系统性地分析了 EWC 中的重要性估计。首次我们发现，EWC 依赖的 Fisher 信息矩阵（FIM）在特定情境下导致梯度消失和不准确的重要性估计。我们的分析还表明，记忆感知神经网络（MAS），即 EWC 的一种变体，对先前任务无关的参数施加不必要的约束，称为“多余保护”。因此，EWC 及其变体在估计权重重要性方面存在根本性误差，导致性能不佳。为解决这些问题，我们提出了一种称为 Logits 反转（LR）的操作，这是一种简单而有效的修改，可纠正 EWC 的重要性估计。具体而言，在计算 FIM 时反转 logit 值可有效防止梯度消失和冗余保护。广泛的实验在各种 CL 任务和数据集上表明，所提出的方法显著优于现有的 EWC 及其变体。因此，我们将其称为正确实现的弹性权重整合（EWC-DR）。代码已公开于 https://github.com/scarlet0703/EWC-DR。