保体积神经网络
机器学习
2021-04-27 v3 机器学习
摘要
我们提出一种解决深度神经网络中梯度消失(或爆炸)问题的新方法。我们构建了一种新的深度神经网络架构,其中网络的所有层(除输出层外)均由旋转、置换、对角和激活子层组合而成,且这些子层均保体积。我们的方法以对角、旋转和置换矩阵的组合替代神经网络的标准权重矩阵,这些矩阵均保体积。我们引入一种耦合激活函数,使神经网络层的激活函数部分也能保持体积。这种对体积的控制迫使梯度(平均而言)维持平衡而不爆炸或消失。为展示我们的架构,我们将保体积神经网络模型应用于两个标准数据集。
引用
@article{arxiv.1911.09576,
title = {Volume-preserving Neural Networks},
author = {Gordon MacDonald and Andrew Godbout and Bryn Gillcash and Stephanie Cairns},
journal= {arXiv preprint arXiv:1911.09576},
year = {2021}
}
备注
20 pages, 8 figures