基于雅可比匹配的知识迁移

经典的蒸馏方法通过匹配输出激活，将表示从一个“教师”神经网络迁移到一个“学生”网络。近期方法还匹配雅可比矩阵，即输出激活对输入的梯度。然而，这涉及一些临时决策，特别是损失函数的选择。在本文中，我们首先建立雅可比匹配与带输入噪声的蒸馏之间的等价性，并由此推导出适用于雅可比匹配的适当损失函数。然后我们依靠该分析，通过确立近期一种迁移学习过程与蒸馏的等价性，将雅可比匹配应用于迁移学习。接着我们在标准图像数据集上通过实验表明，基于雅可比的惩罚项改善了蒸馏、对噪声输入的鲁棒性以及迁移学习。