具有双向白化的神经网络模型
机器学习
2018-07-11 v1 机器学习
摘要
我们在此提出一种执行多层感知机高效自然梯度下降的新模型和算法。自然梯度下降最初从信息几何的观点提出，它在黎曼空间的流形上执行最速下降更新。特别地，我们扩展了“白化神经网络”模型所采取的方法。我们不仅像原模型那样在是前向方向进行白化，而且在反向传播阶段也进行白化。通过将这种“双向白化神经网络”模型应用于手写字符识别数据（MNIST数据），显示了其功效。
引用
@article{arxiv.1704.07147,
title = {A Neural Network model with Bidirectional Whitening},
author = {Yuki Fujimoto and Toru Ohira},
journal= {arXiv preprint arXiv:1704.07147},
year = {2018}
}
备注
16pages