基于梯度下降的高效定制激活函数搜索

不同的激活函数对不同深度学习模型表现最佳。为充分利用这一点，我们借助近期在神经网络架构方面基于梯度的搜索技术的最新进展，高效地识别给定应用场景下表现优异的激活函数。我们提出一种细粒度搜索单元，将基本数学运算组合以建模激活函数，从而允许探索新型激活函数。我们的ethods能够识别出针对特定模型的专用激活函数，使得我们尝试的每个模型，从图像分类到语言模型，都实现了性能提升。此外，所识别的激活函数对相同类型的更大模型以及新数据集具有强大的可迁移性。重要的是，我们用于创建定制激活函数的自动化过程比以前的方法快了数量级，并且可以轻松地应用在任意深度学习管道之上，从而为增强深度学习架构提供了一条具有实际前景的途径。