激活函数扩展：提升神经网络性能的框架
机器学习
2024-08-19 v2 人工智能
数值分析
神经与进化计算
数值分析
摘要
激活函数是神经网络中的非线性组件，使它们能够学习输入与输出之间的复杂映射。激活函数的典型选择包括ReLU、Tanh、Sigmoid等，其选择通常取决于应用领域。在这项工作中，我们提出了一种统一多个激活函数工作的框架/策略，并从理论上解释了这些工作的性能优势。我们还提出了源自该框架的新技术，使我们能够通过在激活函数上操作来获得神经网络的"扩展"（即给定神经网络的特殊泛化）。我们理论和实证地证明，神经网络的"扩展"相比标准测试函数上的原始神经网络具有性能优势，且空间和时间复杂度成本不显著。我们还展示了神经网络"扩展"在时间序列领域真实数据集上的优势。
引用
@article{arxiv.2408.03599,
title = {Activations Through Extensions: A Framework To Boost Performance Of Neural Networks},
author = {Chandramouli Kamanchi and Sumanta Mukherjee and Kameshwaran Sampath and Pankaj Dayama and Arindam Jati and Vijay Ekambaram and Dzung Phan},
journal= {arXiv preprint arXiv:2408.03599},
year = {2024}
}