别畏惧特殊激活函数：EUAF及其扩展
计算机视觉与模式识别
2024-07-16 v1 人工智能
摘要
本文提出一种新的超表达激活函数，称为参数化基本通用激活函数(PEUAF)。我们通过在CIFAR10、Tiny-ImageNet和ImageNet等各种工业和图像数据集上进行系统且全面的实验，展示了PEUAF的有效性。此外，我们大幅推广了超表达激活函数的家族，其存在在几项近期研究中已被证明：任何连续函数都可以通过固定大小的网络搭配特定的超表达激活函数以任意精度近似。具体而言，本工作解决了两个阻碍超表达激活函数发展的主要瓶颈：即对超表达函数识别范围的有限认识，导致人们怀疑其广泛适用性；以及其常规的形式，导致对其在实际应用中的可扩展性和实用性产生怀疑。
引用
@article{arxiv.2407.09580,
title = {Don't Fear Peculiar Activation Functions: EUAF and Beyond},
author = {Qianchao Wang and Shijun Zhang and Dong Zeng and Zhaoheng Xie and Hengtao Guo and Feng-Lei Fan and Tieyong Zeng},
journal= {arXiv preprint arXiv:2407.09580},
year = {2024}
}