分段线性单元改进深度神经网络
机器学习
2021-08-24 v3 人工智能
神经与进化计算
摘要
激活函数是深度神经网络非线性的核心；函数的选择对训练成败影响重大。目前，尽管存在些许缺陷，许多从业者因其简单可靠而偏好修正线性单元（ReLU）。虽然此前多数拟替代ReLU的函数均为手工设计，近期关于训练中学习方法的工作已展现出前景。本文提出一种自适应分段线性激活函数，即分段线性单元（PiLU），它可针对神经网络各维度独立学习。我们论证了PiLU如何作为一种广义整流单元，并指出其与自适应分段线性单元的相似之处，即自适应与分段线性。在30组实验的分布上，我们表明对于相同模型架构、超参数与预处理，PiLU显著优于ReLU：以神经元数量微增为代价，在CIFAR-10上降低分类误差18.53%，在CIFAR-100上降低13.13%。进一步工作应致力于探索广义分段线性单元，并在其他挑战性领域与更大数据问题上验证这些结果。
引用
@article{arxiv.2108.00700,
title = {Piecewise Linear Units Improve Deep Neural Networks},
author = {Jordan Inturrisi and Sui Yang Khoo and Abbas Kouzani and Riccardo Pagliarella},
journal= {arXiv preprint arXiv:2108.00700},
year = {2021}
}
备注
13 pages, 6 figures, 5 tables, replaced some figures and wording