机器学习中的自配置

在本文中，我们首先提出一类算法，用于从输入层开始逐层训练具有二次代价函数的多层神经网络。该算法基于如下事实：对于待训练的任意层，可直接连接到已优化的线性输出层的影响可在未实际建立连接的情况下计算出来。因此，从输入层开始，我们可以依次独立地训练每一层。一旦训练完成，权重保持固定，该已训练层的输出随后作为下一待训练层的输入。结果是一个极快的算法。这种训练安排的简洁性使得激活函数与权重调整步长能够自适应并自调节。此外，训练过程的稳定性允许采用相对较大的步长，从而实现更高的速度。最后，在我们的语境中配置网络意味着确定每层的输出数量。通过将总体代价函数分解为与逼近和估计相关的独立分量，我们得到了确定每层输出数量的优化公式。凭借自配置与参数设置能力，我们现在拥有的不仅是一种快速训练算法，而是能够从仅有数据出发自动构建全训练深度神经网络的能力。