神经网络中的半环激活
机器学习
2025-03-11 v4
摘要
我们引入了一类基于半环的可训练非线性算子，适用于神经网络。这些算子概括了神经网络中传统线性算子与激活函数交替的模式。半环是描述线性化广义notation的代数结构，大大扩展了可以包含在神经网络中的可训练算子范围。事实上，最大或最小池化操作是以固定内核的热带半环中的卷积。我们进行实验，通过替换传统激活函数为可训练的半环激活，来表明这些是完全连接的神经网络以及卷积神经网络（ConvNeXt）中可行的操作。我们讨论了替换传统激活函数为可训练半环激活的挑战以及其权衡。
引用
@article{arxiv.2405.18805,
title = {Semiring Activation in Neural Networks},
author = {Bart M. N. Smets and Peter D. Donker and Jim W. Portegies},
journal= {arXiv preprint arXiv:2405.18805},
year = {2025}
}