用于深度卷积神经网络的参数化指数线性单元
机器学习
2018-01-11 v4 计算机视觉与模式识别
神经与进化计算
摘要
目标识别是提高视觉系统执行复杂场景理解能力的一项重要任务。最近，指数线性单元（ELU）被提出作为管理卷积神经网络（CNNs）中偏置偏移的关键组件，但其定义了一个必须手动设置的参数。在本文中，我们提出学习 ELU 的参数化，以便在 CNNs 的每一层学习适当的激活形状。我们在 MNIST、CIFAR-10/100 和 ImageNet 数据集上使用 NiN、Overfeat、All-CNN 和 ResNet 网络的结果表明，我们提出的参数化 ELU（PELU）比非参数 ELU 具有更好的性能。我们观察到在 ImageNet 上使用 NiN 网络实现了高达 7.28% 的相对误差改进，而参数仅增加了 0.0003%。我们对使用 PELU 的 Vgg 所采用的非线性行为的视觉检查表明，网络通过在不同层学习不同的激活而利用了所增加的灵活性。
引用
@article{arxiv.1605.09332,
title = {Parametric Exponential Linear Unit for Deep Convolutional Neural Networks},
author = {Ludovic Trottier and Philippe Giguère and Brahim Chaib-draa},
journal= {arXiv preprint arXiv:1605.09332},
year = {2018}
}
备注
16th IEEE International Conference On Machine Learning And Applications, 2017