面向“类等距神经网络”的激活函数
机器学习
2024-11-25 v1 神经与进化计算
摘要
在先前工作[Ma and Chan (2023)]中，我们提出了一种前馈等距神经网络。我们针对该网络提出了三种不同的激活函数：一种带小残差的软sign函数、恒等函数和Leaky ReLU函数。虽然这些函数展示了所需的等距性质，但限制了神经网络的体系结构。本短文将这些激活函数概括为单一函数形式。该函数形式代表广泛的函数类别，保持等距性质，并为设计等距神经网络提供更大的灵活性。
引用
@article{arxiv.2411.14462,
title = {Activation Functions for "A Feedforward Unitary Equivariant Neural Network"},
author = {Pui-Wai Ma},
journal= {arXiv preprint arXiv:2411.14462},
year = {2024}
}