任务迁移下的神经 tangent 核动态再激活

神经 tangent 核 (NTK) 为研究神经网络的功能动态提供了强大的工具。在所谓的懒散或 kernel regime 中，NTK 在训练期间保持不变，网络函数在 static neural tangents feature space 中是线性的。NTK 在训练期间的演化对于 feature learning 至关重要，这是深度学习成功的关键驱动力。近年来对 NTK 动态的研究已做出了若干关键发现，涉及 generalization 和 scaling behaviors。然而，这些工作局限于单任务设置，即假设数据分布在时间上保持恒定。本文present了一项对 NTK 在持续学习中的动态进行全面经验分析，即数据分布随时间变化。我们的发现表明，持续学习是一个丰富且被低估的探针神经训练动态的测试场。同时，它们也挑战了在持续学习的理论处理中静态 kernel 近似的有效性，即便在大规模情况下也是如此。