基于势权重线性分析加速反向传播网络的训练过程简化
神经与进化计算
2009-08-12 v1
摘要
学习是反向传播网络(BPN)的重要特性，在训练过程中寻找合适的权重和阈值以缩短训练时间并实现高精度。目前，数据预处理（如输入值降维和预训练）是开发高效技术以在保持高精度的同时减少训练时间的关键因素，而权重的初始化是一个重要问题，其随机性造成了悖论，导致精度低且训练时间长。一种加速BPN分类的良好数据预处理技术是降维技术，但它存在数据缺失的问题。本文研究了当前的预训练技术以及一种名为势权重线性分析(PWLA)的新预处理技术，该技术结合了归一化、输入值降维和预训练。在PWLA中，首先进行数据预处理以生成归一化的输入值，然后通过预训练技术应用这些值以获得势权重。在这些阶段之后，利用真实的势权重对输入值矩阵进行降维。实验将评估XOR问题以及三个数据集：SPECT Heart、SPECTF Heart和肝脏疾病(BUPA)。然而，我们的结果将表明，PWLA新技术将把BPN转变为一种新的监督式多层前馈神经网络(SMFFNN)模型，该模型无需训练周期即可在一个epoch内实现高精度。此外，PWLA还将具备非线性监督和无监督降维的能力，以便在未来工作中应用于其他监督式多层前馈神经网络模型。
关键词
引用
@article{arxiv.0908.1453,
title = {Training Process Reduction Based On Potential Weights Linear Analysis To Accelarate Back Propagation Network},
author = {Roya Asadi and Norwati Mustapha and Nasir Sulaiman},
journal= {arXiv preprint arXiv:0908.1453},
year = {2009}
}
备注
11 pages IEEE format, International Journal of Computer Science and Information Security, IJCSIS 2009, ISSN 1947 5500, Impact factor 0.423