随机深度网络的费雪信息与自然梯度学习

深度神经网络是一种将输入信号转换为输出信号的层次化非线性模型。其输入输出关系被认为是随机的，对给定输入由参数的输出条件概率分布描述。由权重和偏置构成的参数空间是一个黎曼流形，其度量由费雪信息矩阵定义。自然梯度法使用黎曼流形中的最速下降方向，因此在学习中有效，可避免平台期。然而，它需要求费雪信息矩阵的逆，当矩阵维数巨大时实际上不可行。因此已引入许多近似自然梯度的方法。本文使用统计神经动力学方法，在平均场近似下揭示随机连接网络中费雪信息矩阵的性质。我们证明费雪信息矩阵是单元块对角形式，并补充有低阶的非块对角元素项，这为 Y. Ollivier 的拟对角自然梯度法提供了依据。单元块对角费雪矩阵可归约为单单元费雪信息矩阵的张量积。我们进一步证明单单元的费雪信息矩阵具有简单的约化形式，即一个对角矩阵与一个权重-偏置相关的秩 2 矩阵之和。我们显式地求出费雪信息的逆。进而得到自然梯度的显式形式，无需依赖数值矩阵求逆，这极大加速了随机梯度学习。