懒惰的重要性：持续学习的缩放极限

尽管近年来做出了诸多努力，神经网络在非平稳环境中学习仍然困难重重，我们对灾难性遗忘的理解也远未完善。在这项工作中，我们对模型规模和特征学习程度在持续学习中的影响进行了系统性研究。我们通过架构的可变参数化来区分懒惰训练机制和丰富训练机制，从而调和了文献中关于规模效应的现有矛盾观察。我们发现，增加模型宽度仅在减少特征学习量、带来更多懒惰性时才有益。利用动态平均场理论框架，我们随后研究了特征学习机制下模型的无限宽度动力学，并刻画了灾难性遗忘，将先前仅限于懒惰机制的理论结果进行了推广。我们研究了特征学习、任务非平稳性和遗忘之间的复杂关系，发现高特征学习仅在任务高度相似时才有益。我们识别出一个由任务相似性调节的转变，模型在此处从一个遗忘率低的有效懒惰机制进入一个遗忘显著的丰富机制。最后，我们的发现表明，神经网络在特征学习的临界水平上达到最优性能，该水平取决于任务非平稳性并可跨模型规模迁移。这项工作为规模和特征学习在持续学习中的作用提供了一个统一的视角。