RTRA：持续学习中基于正则化方法的快速训练
机器学习
2023-12-18 v1 计算机视觉与模式识别
摘要
灾难性遗忘（CF）是持续学习（CL）中的一个重大挑战。在缓解CF的基于正则化的方法中，使用适当的损失函数对后续任务中重要训练参数的修改进行惩罚。我们提出了RTRA，一种对广泛使用的弹性权重巩固（EWC）正则化方案的改进，利用自然梯度进行损失函数优化。我们的方法在不牺牲测试数据性能的情况下改进了基于正则化方法的训练。我们使用iFood251数据集将提出的RTRA方法与EWC进行比较。我们展示了RTRA相对于最先进方法具有明显优势。
引用
@article{arxiv.2312.09361,
title = {RTRA: Rapid Training of Regularization-based Approaches in Continual Learning},
author = {Sahil Nokhwal and Nirman Kumar},
journal= {arXiv preprint arXiv:2312.09361},
year = {2023}
}