模型重编程揭秘：神经正切核视角

模型重编程（MR）是一个资源高效的框架，能够以最少的额外参数和数据将大型预训练模型适配到新任务，为针对多样任务训练大型模型的挑战提供了有前景的解决方案。尽管它在计算机视觉和时间序列预测等各个领域取得了经验上的成功，但MR的理论基础仍未得到充分探索。在本文中，我们通过神经正切核（NTK）框架的视角对MR进行了全面的理论分析。我们证明了MR的成功受目标数据集上NTK矩阵的特征值谱支配，并确立了源模型有效性在决定重编程结果中的关键作用。我们的贡献包括一个新颖的MR理论框架、对源模型与目标模型之间关系的见解，以及验证我们发现的广泛实验。