通过积分激活变换提升深度神经网络的表达能力
机器学习
2023-12-21 v1
摘要
深度神经网络（DNN）令人瞩目的表达能力是其广泛应用的基础。然而，尽管深度架构的理论容量很高，通过成功训练所获得的实际表达能力往往有所不足。基于从 Neural ODE 中获得的启发（即将 DNN 的深度作为连续变量进行探索），在本工作中，我们通过连续宽度的概念推广了传统的全连接 DNN。在广义深度神经网络（GDNN）中，每层中传统的神经元概念被连续状态函数所取代。利用权重积分核的有限秩参数化，我们证明了可以通过在传统 DNN 框架内采用积分激活变换（IAT）作为激活层来获得 GDNN。IAT 使用一些基函数将输入向量映射到函数空间，随后在函数空间中进行非线性激活，然后通过与另一组基函数的积分来提取信息。以 ReLU 非线性为特征的特定变体 IAT-ReLU，作为标量 ReLU 激活的平滑推广。值得注意的是，当采用连续基函数时，IAT-ReLU 呈现出连续的激活模式，使其具有平滑性并增强了 DNN 的可训练性。我们的数值实验表明，IAT-ReLU 在可训练性与更好的平滑性方面优于常规 ReLU。
关键词
引用
@article{arxiv.2312.12578,
title = {Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform},
author = {Zezhong Zhang and Feng Bao and Guannan Zhang},
journal= {arXiv preprint arXiv:2312.12578},
year = {2023}
}
备注
26 pages, 6 figures