网络态射

在本文中，我们系统性地研究了如何将训练良好的神经网络形变为一个新网络，从而完全保留其网络函数。我们在本研究中将之定义为\emph{网络态射（network morphism）}。在父网络形变后，子网络有望从父网络继承知识，并具备持续生长为更强大网络的潜力，且大幅缩短训练时间。该网络态射的首要要求是能够处理多样化的网络形变类型，包括深度、宽度、卷积核尺寸乃至子网的变更。为满足此要求，我们首先引入网络态射方程，随后针对经典神经网络与卷积神经网络的所有这些形变类型开发了新颖的形变算法。网络态射的第二项要求是能够处理网络中的非线性。我们提出了一族参数化激活函数，以促成任意连续非线性激活神经元的形变。在基准数据集与典型神经网络上的实验结果证明了所提网络态射方案的有效性。