深度克罗内克神经网络：具有自适应激活函数的神经网络通用框架
机器学习
2021-10-22 v2
摘要
我们提出一种新型神经网络——克罗内克神经网络(KNNs)，其构成了具有自适应激活函数的神经网络的通用框架。KNNs 采用克罗内克积(Kronecker product)，在保持参数量较低的同时，提供了一种构建极宽网络的高效方式。我们的理论分析揭示，在适当条件下，KNNs 诱导的损失衰减快于前馈网络。这亦通过一组计算示例得到经验验证。此外，在特定技术假设下，我们建立了 KNNs 梯度下降的全局收敛性。作为一种特例，我们提出 Rowdy 激活函数，其通过注入包含可训练参数的正弦波动来消除任何饱和区域。所提出的 Rowdy 激活函数可用于任何神经网络架构，如全连接神经网络、循环神经网络、卷积神经网络等。KNNs 结合 Rowdy 激活的有效性通过多种计算实验得到证明，包括使用全连接神经网络的函数逼近、使用物理信息神经网络求解偏微分方程推断，以及使用卷积和全连接神经网络的标准深度学习基准问题。
引用
@article{arxiv.2105.09513,
title = {Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions},
author = {Ameya D. Jagtap and Yeonjong Shin and Kenji Kawaguchi and George Em Karniadakis},
journal= {arXiv preprint arXiv:2105.09513},
year = {2021}
}
备注
24 pages, 16 figures