CombU：用于拟合数学表达式的组合单元激活
机器学习
2024-09-26 v1
摘要
激活函数是神经网络的基本组成部分，因为它们引入非线性，从而使深度网络能够逼近复杂的数据关系。既有工作主要致力于开发新的数学函数以提升神经网络性能，但我们发现，对现有激活函数在神经网络中的合理组合也可达到同样目标。本文介绍了组合单元激活（CombU），其在神经网络的不同维度和不同层上采用不同的激活函数。该方法可被证明准确拟合大多数数学表达式。对四个数学表达式数据集上的实验，与六种最先进（SOTA）激活函数算法进行比较，显示 CombU 在 10 个指标中超越所有 SOTA 算法，在剩余六个指标中进入前三名。
引用
@article{arxiv.2409.17021,
title = {CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks},
author = {Jiayu Li and Zilong Zhao and Kevin Yee and Uzair Javaid and Biplab Sikdar},
journal= {arXiv preprint arXiv:2409.17021},
year = {2024}
}