持续学习中的正则化缺陷
机器学习
2021-04-06 v4 机器学习
摘要
在大多数机器学习算法中，训练数据被假设为独立同分布（iid）。当并非如此时，算法性能会受到挑战，导致著名的灾难性遗忘现象。处理该问题的算法汇集于持续学习研究领域。在本文中，我们研究基于正则化的持续学习方法，并表明这些方法在一个基本的持续学习基准——类增量场景中，无法学会区分来自不同任务的类。我们做出理论推理以证明此缺陷，并通过示例与实验加以说明。此外，我们表明它可能对持续多任务强化学习或用于持续学习的预训练模型产生重要影响。我们相信，凸显并理解正则化策略的缺陷将有助于我们更高效地使用它们。
引用
@article{arxiv.1912.03049,
title = {Regularization Shortcomings for Continual Learning},
author = {Timothée Lesort and Andrei Stoian and David Filliat},
journal= {arXiv preprint arXiv:1912.03049},
year = {2021}
}