探索关系：变形自适应激活函数与其他激活函数的比较
机器学习
2024-02-15 v1 神经与进化计算
摘要
神经网络是许多任务的最先进方法，而激活函数是允许实现此类性能的主要构建模块之一。 最近提出了一种新型变形自适应激活函数（TAAF），允许进行任意垂直和水平平移和缩放。 本工作将 TAAF置于其他激活函数的上下文中，表明 TAAF概括了超过50个现有激活函数，并利用了超过70个激活函数中类似的概念，凸显了 TAAF的灵活性。 这种全面探索将 TAAF定位为神经网络的一个有前景且可适应的 additions。
引用
@article{arxiv.2402.09249,
title = {Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions},
author = {Vladimír Kunc},
journal= {arXiv preprint arXiv:2402.09249},
year = {2024}
}