基于伪逆的神经网络训练中数值问题的分析
机器学习
2015-08-26 v1 神经与进化计算
摘要
最近提出了一些用于单隐层神经网络训练的新策略，这些策略将输入层到隐层的权重随机设定，而隐层到输出层的权重则通过伪逆解析确定。尽管在涉及奇异和/或近似奇异矩阵时存在已知的数值问题，这些技术仍越来越受欢迎。在本文中，我们讨论了奇异值分析在识别这些缺陷中的关键应用，并基于临界隐层大小的概念，提出了一种确定输出权重的正则化原创用法。这种方法还有助于限制训练的计算量。此外，我们引入了一种新技术，该技术将输入权重的有效确定依赖于隐层维度。我们在回归和分类任务中均对该方法进行了测试，结果表明相较于其他替代方法，其性能有显著提升。
引用
@article{arxiv.1508.06092,
title = {An analysis of numerical issues in neural training by pseudoinversion},
author = {R. Cancelliere and R. Deluca and M. Gai and P. Gallinari and L. Rubini},
journal= {arXiv preprint arXiv:1508.06092},
year = {2015}
}
备注
11 pages, submitted to: Comp. Appl. Math