浅层二次神经网络的通用逼近性质
数值分析
2022-05-12 v2 数值分析
摘要
本文研究浅层神经网络函数，其为激活函数与二次函数（取代标准仿射线性函数，常称为神经元）复合的线性组合。我们展示了该逼近的通用性，并基于小波与统计学习理论证明收敛速率结果。我们对简单测试用例表明，该构造比标准仿射线性神经网络需要更少数量的神经元。此外，我们用MNIST数据集考察该方法在聚类任务中的效率。在比较深层（多层）网络时也观察到类似现象。
引用
@article{arxiv.2110.01536,
title = {Universal approximation properties of shallow quadratic neural networks},
author = {Leon Frischauf and Otmar Scherzer and Cong Shi},
journal= {arXiv preprint arXiv:2110.01536},
year = {2022}
}