架构在持续学习中的作用

持续学习是静态架构模型的挑战，因为它们无法适应数据分布在不同任务之间演变的情形。我们引入一个数学框架，联合建模架构和权重在Sobolev空间中，使我们能够严格探讨神经网络架构在持续学习中的作用及其对遗忘损失的影响。我们推导了持续学习解的必要条件，并证明仅学习权重不足以在分布迁移下缓解恶性遗忘。随后，我们证明，通过在每个任务中同时学习架构和权重，可以减少恶性遗忘。为同时学习权重和架构，我们将持续学习形式化为双层优化问题：上层选择给定任务的最优架构，而下层通过动态规划在所有任务上计算最优权重。为解决上层问题，我们引入一种无导数的直接搜索算法来确定最优架构。一旦找到，就必须将知识从当前架构转移到最优架构。然而，最优架构将导致权重参数空间不同于当前架构(即权重矩阵的维度不匹配)。为弥合维度差距，我们开发了一种低秩转移机制来映射不同维度架构之间的知识。跨回归和分类问题进行的实证研究，包括前馈网络、卷积网络和图神经网络，表明同时学习最优架构和权重在性能(提升约两个数量级)、减少遗忘和对噪声的鲁棒性方面均显著优于静态架构方法。