GradMix：基于梯度的选择性混合用于类递增学习中的鲁棒数据增强

在持续学习语境中，获取新知识同时保持先前知识是一个显著挑战。既有方法常使用经验重播技术，存储少量先前任务数据以进行训练。在经验重播方法中，数据增强已成为通过混合有限的先前任务数据与充足的当前任务数据来进一步提升模型性能的有前景策略。然而，我们理论和实证分析发现，随机组合样本对训练混合样本可能损害先前任务知识，导致更大程度的灾难性遗忘。随后，我们提出 GradMix，一种为缓解类递增学习中灾难性遗忘而设计的鲁棒数据增强方法。GradMix 使用基于类的准则进行梯度-based 选择性混合，仅混合对减少灾难性遗忘有益的样本对，而非有害的样本对。我们在 various 真实数据集上的实验表明，GradMix 在准确率上优于数据增强基线，通过最小化先前知识的遗忘实现。