用于深度神经网络的激活集成

过去人们提出了许多激活函数，但选择合适的激活函数需要反复试验。我们提出了一种在神经网络每一层设计激活函数的新方法。我们将此技术称为“激活集成”，因为它允许在每一层使用多个激活函数。这是通过在网络每个激活层引入附加变量 $\alpha$ 来实现的，从而允许在每个神经元处激活多个激活函数。在设计上，神经元处具有较大 $\alpha$ 值的激活等价于具有最大幅值。因此，这些较高幅值的激活被网络“选中”。我们在多种数据集上使用一系列前馈和卷积神经网络实现了激活集成。通过使用激活集成，我们获得了优于传统方法的结果。此外，由于该方法具有灵活性，我们更深入地探索了激活函数及其捕获的特征。