通过动态激活函数优化前馈与卷积神经网络性能
机器学习
2024-02-20 v2 计算工程、金融与科学
神经与进化计算
摘要
近年来,深度学习训练算法在语音、文本、图像视频等诸多领域取得巨大成功。以约 152 层的 resnet 结构为代表,越来越深的网络层被提出并大获成功。浅层卷积神经网络(CNN)仍是活跃的研究方向,其中一些现象尚无法解释。网络中使用的激活函数至关重要,因为它们为网络提供非线性。Relu 是最常用的激活函数。我们展示了隐藏层中的一种复杂分段线性(PWL)激活。我们表明,在卷积神经网络与多层感知机中,这些 PWL 激活的表现远优于 relu 激活。文中给出了 PyTorch 中浅层与深层 CNN 的结果比较,以进一步支撑我们的论点。
引用
@article{arxiv.2308.05724,
title = {Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions},
author = {Chinmay Rane and Kanishka Tyagi and Michael Manry},
journal= {arXiv preprint arXiv:2308.05724},
year = {2024}
}
备注
Tiny ICLR Approved