基于正则化权重直接确定的 Gegenbauer 神经网络用于分类
机器学习
2019-10-28 v1 机器学习
摘要
单隐层前馈神经网络（SLFNs）在模式分类问题中被广泛使用，但其遇到的巨大瓶颈是基于梯度的传统迭代学习算法速度慢且性能差。尽管著名的极限学习机（ELM）已成功解决收敛慢的问题，但其仍面临由随机赋值的输入权重与偏置带来的计算鲁棒性问题。因此，为克服上述问题，本文构建并研究了一种基于 Gegenbauer 正交多项式的新型神经网络，称为 GNN。该模型可克服 ELM 的计算鲁棒性问题，同时仍具有可比的结构简洁性与逼近能力。在此基础上，我们提出一种基于等式约束优化的正则化权重直接确定（R-WDD）方法以确定最优输出权重。R-WDD 倾向于最小化网络的经验风险与结构风险，从而降低过拟合风险并提升泛化能力。这引导我们得到最终的带 R-WDD 的 GNN，其为一种用于二分类与多分类问题的统一学习机制。最后，如各类对比实验所验证，与最小二乘支持向量机（LS-SVM）、带高斯核的 ELM 相比，带 R-WDD 的 GNN 往往具有可比（甚至更优）的泛化性能、计算可扩展性与效率以及分类鲁棒性。
引用
@article{arxiv.1910.11552,
title = {A Gegenbauer Neural Network with Regularized Weights Direct Determination for Classification},
author = {Jie He and Tao Chen and Zhijun Zhang},
journal= {arXiv preprint arXiv:1910.11552},
year = {2019}
}