随机配置网络学习性能的深入洞察
人工智能
2024-11-14 v1
摘要
随机配置网络是一类在增量学习框架内集成随机算法的随机神经网络。SCN的一个定义性特征是监督机制，该机制自适应地调整分布以生成有效的随机基函数，从而实现无误差学习。在本文中，我们全面分析了监督机制对SCN学习性能的影响。我们的发现表明，当前的SCN框架使用随机基函数误差减少潜力的下界来评估每个随机基函数在减少残差方面的有效性，这限制了SCN的整体学习效率。具体来说，SCN可能无法在每次训练迭代中一致地选择最有效的随机候选作为新的基函数。为了解决这个问题，我们提出了一种评估隐藏层输出矩阵的新方法，该方法由一种新的监督机制支持，该机制能够准确评估随机基函数的误差减少潜力，而无需计算输出矩阵的Moore-Penrose逆。这种方法增强了基函数的选择，降低了计算复杂度，并提高了SCN的整体可扩展性和学习能力。我们基于新的监督机制引入了一种递归Moore-Penrose逆SCN训练方案，并通过在一些基准数据集上的模拟证明了其有效性。实验表明，RMPI-SCN在学习能力方面优于传统SCN，突显了其在推进用于大规模数据建模应用的SCN框架方面的潜力。
引用
@article{arxiv.2411.08544,
title = {Deeper Insights into Learning Performance of Stochastic Configuration Networks},
author = {Xiufeng Yan and Dianhui Wang},
journal= {arXiv preprint arXiv:2411.08544},
year = {2024}
}