ProbAct：一种用于深度神经网络的概率激活函数
机器学习
2020-06-17 v2 神经与进化计算
摘要
激活函数在训练人工神经网络中起着重要作用。当前大多数使用的激活函数在本质上具有确定性，其输入输出关系是固定的。在这项工作中，我们提出了一种新颖的概率激活函数，称为 ProbAct。ProbAct 被分解为均值和方差，输出值从所形成的分布中采样，使 ProbAct 成为一种随机激活函数。均值和方差的值可以使用已知函数固定，或针对每个元素进行训练。在可训练的 ProbAct 中，激活分布的均值和方差与其他参数一起在反向传播框架内训练。我们表明，通过 ProbAct 引入的随机扰动作为一种可行的特征增强泛化技术是有效的。在我们的实验中，我们在不同模态的分类任务上将 ProbAct 与知名激活函数进行比较：图像（CIFAR-10、CIFAR-100 和 STL-10）和文本（Large Movie Review）。我们表明，无论是在原始数据集上，还是在数据集缩减至原始大小的 50% 和 25% 时，ProbAct 相比 ReLU 或其他常规激活函数将分类准确率提高了 +2-3%。最后，我们表明 ProbAct 自身学习了一个模型集成，可用于估计与预测相关的不确定性，并对噪声输入提供鲁棒性。
引用
@article{arxiv.1905.10761,
title = {ProbAct: A Probabilistic Activation Function for Deep Neural Networks},
author = {Kumar Shridhar and Joonho Lee and Hideaki Hayashi and Purvanshi Mehta and Brian Kenji Iwana and Seokjun Kang and Seiichi Uchida and Sheraz Ahmed and Andreas Dengel},
journal= {arXiv preprint arXiv:1905.10761},
year = {2020}
}