极小-极大-加神经网络
神经与进化计算
2021-02-15 v1 人工智能
计算机视觉与模式识别
机器学习
组合数学
摘要
我们提出一种基于热带算术中运算的神经网络新模型，称为极小-极大-加神经网络（MMP-NNs）。一般而言，一个 MMP-NN 由三类交替堆叠的层组成，即线性层、极小加层和极大加层。具体而言，后两类层构成了网络的非线性部分，该部分可训练且比传统神经网络的非线性部分更为复杂。此外，我们证明具有更高非线性表达能力的 MMP-NN 是连续函数的通用逼近器，即便乘法运算的数量被极大地减少（在某些极端情况下可能为零）。进一步，我们推导了 MMP-NN 训练过程中的反向传播算法，并引入一种归一化算法以提高训练收敛速度。
引用
@article{arxiv.2102.06358,
title = {Min-Max-Plus Neural Networks},
author = {Ye Luo and Shiqing Fan},
journal= {arXiv preprint arXiv:2102.06358},
year = {2021}
}
备注
21 pages, 5 figures