随机表征优于在线持续学习的表征

持续学习主要关注灾难性遗忘问题以及相关的稳定性-可塑性权衡。然而，很少有人关注持续学习表征的有效性，因为表征是在整个学习过程中与分类器一起学习的。我们的主要贡献是实证证明，与简单的预定义随机变换相比，现有的在线持续训练的深度网络产生的表征较差。我们的方法使用固定的随机变换投影原始像素，近似于在任何数据被看到之前初始化的RBF核。然后，我们在不存储任何样本的情况下，在在线持续学习设置中一次处理一个样本，训练一个简单的线性分类器。这种称为RanDumb的方法，在所有标准的在线持续学习基准测试中，显著优于最先进的持续学习表征。我们的研究揭示了表征学习的显著局限性，特别是在低样本和在线持续学习场景中。将我们的研究扩展到具有预训练模型的流行的无样本场景，我们发现仅在预训练表征之上训练一个线性分类器就超越了大多数持续微调和提示调整策略。总的来说，我们的研究挑战了在线持续学习中关于有效表征学习的普遍假设。我们的代码可在以下地址获取：://github.com/drimpossible/RanDumb。