SWAG 算法：一种优于传统深度学习的数学方法——理论与实现
机器学习
2018-11-30 v1 机器学习
摘要
人工神经网络（ANNs）的性能受权重初始化、激活函数性质及其架构的影响。传统上用于训练神经网络有广泛的激活函数，例如 sigmoid、tanh 和修正线性单元（ReLU）。一种普遍做法是给定层中所有神经元使用同类激活函数。在本稿件中，我们提出一种神经网络，其中每层的激活函数构成一个多项式基；我们根据作者姓氏首字母将该法命名为 SWAG。我们在三个复杂高度非线性函数以及 MNIST 手写数据集上测试了 SWAG。SWAG 在全连接神经网络中优于当前最优性能并收敛更快。鉴于 SWAG 的低计算复杂度，以及其能解决当前架构无法解决的问题，它有潜力改变我们研究深度学习的方式。
引用
@article{arxiv.1811.11813,
title = {The SWAG Algorithm; a Mathematical Approach that Outperforms Traditional Deep Learning. Theory and Implementation},
author = {Saeid Safaei and Vahid Safaei and Solmazi Safaei and Zerotti Woods and Hamid R. Arabnia and Juan B. Gutierrez},
journal= {arXiv preprint arXiv:1811.11813},
year = {2018}
}
备注
20 pages, 16 figures