通过蒸馏隐藏神经元形成的激活边界进行知识迁移

神经元的激活边界指的是决定该神经元激活或失活的分隔超平面。在神经网络中长久以来认为，神经元的激活而非其精确输出值在形成对分类友好的隐藏特征空间划分中起最重要作用。然而，据我们所知，神经网络的这一方面在知识迁移文献中尚未被考虑。本文提出一种通过蒸馏隐藏神经元形成的激活边界的知识迁移方法。对于蒸馏，我们提出一种激活迁移损失，当学生生成的边界与教师生成的边界重合时取最小值。由于激活迁移损失不可微，我们设计了分段可微损失来逼近该激活迁移损失。通过所提方法，学生学习教师中每个神经元形成的激活区与失活区之间的分隔边界。通过在知识迁移各方面进行的实验，验证了所提方法优于当前最先进水平（SOTA）。