一种搜索更好激活函数的方法
机器学习
2024-05-24 v2 人工智能
摘要
人工神经网络的成功在很大程度上取决于激活函数的明智选择，激活函数为网络引入非线性，使其能够建模数据中的复杂关系。然而，过去激活函数的搜索很大程度上依赖于经验知识，缺乏理论指导，这阻碍了更有效激活函数的发现。在这项工作中，我们为这个问题提供了一个合适的解决方案。首先，我们从信息熵的角度理论证明了具有边界条件的最差激活函数（WAFBC）的存在性。此外，受信息熵泛函的泰勒展开形式的启发，我们提出了基于熵的激活函数优化（EAFO）方法。EAFO方法为设计深度神经网络中的静态激活函数提供了新的视角，并具有在迭代训练过程中动态优化激活函数的潜力。利用EAFO方法，我们从ReLU推导出一种新的激活函数，称为修正正则化ReLU（CRReLU）。在CIFAR-10、CIFAR-100和ImageNet-1K数据集上使用视觉Transformer及其变体进行的实验表明，CRReLU优于现有的ReLU修正。在大语言模型（LLM）微调任务上的广泛实证研究中，CRReLU表现出比GELU更优越的性能，表明其在实际应用中具有更广泛的潜力。
引用
@article{arxiv.2405.12954,
title = {A Method on Searching Better Activation Functions},
author = {Haoyuan Sun and Zihao Wu and Bo Xia and Pu Chang and Zibin Dong and Yifu Yuan and Yongzhe Chang and Xueqian Wang},
journal= {arXiv preprint arXiv:2405.12954},
year = {2024}
}
备注
16 pages,3 figures