一种优化神经网络架构与泛化性能的新型构造方法
神经与进化计算
2013-02-05 v1
摘要
在本文中，分析了神经网络泛化能力差和过拟合的原因后，我们将某些噪声数据视为连续函数的奇异值——即跳跃间断点。连续部分可以通过传统算法（如具有增量训练的前馈神经网络构造算法、BP 算法、ELM 算法、各种构造算法、RBF 近似和 SVM）用最简单的神经网络进行近似，这些网络具有良好的泛化性能和最优的网络架构。同时，我们将构造径向基函数（RBF）神经网络以拟合每一个误差内的奇异值。我们证明，具有跳跃间断点的函数可以通过衰减 RBF 神经网络按每个误差进行近似；具有跳跃间断点的函数可以由衰减 RBF 神经网络以构造方式按每个误差进行近似，且该构造部分不会对整个机器学习系统的泛化产生影响。这将优化神经网络架构和泛化性能，并通过避免拟合噪声数据来减少过拟合现象。
引用
@article{arxiv.1302.0324,
title = {A New Constructive Method to Optimize Neural Network Architecture and Generalization},
author = {Hou Muzhou and Moon Ho Lee},
journal= {arXiv preprint arXiv:1302.0324},
year = {2013}
}