具有自适应构造参数的正交随机配置网络用于数据分析
机器学习
2022-05-27 v1
摘要
作为一种随机学习器模型，随机配置网络（SCN）的显著特点是采用监督机制分配随机权重与偏置，以保证通用逼近能力与快速学习。然而，随机性使 SCN 更易生成近似线性相关的冗余低质量隐节点，从而导致网络结构不紧凑。依据机器学习中的基本原则，即参数更少的模型具有更好的泛化能力。本文提出正交 SCN，称为 OSCN，通过引入 Gram-Schmidt 正交化技术筛选低质量隐节点以缩减网络结构。文中详细给出了 OSCN 的通用逼近性质及关键构造参数的自适应设置。此外，提出一种增量更新方案动态确定输出权重，提升了计算效率。最后，在两个数值算例及多个真实回归与分类数据集上的实验结果验证了所提方法的有效性与可行性。
引用
@article{arxiv.2205.13191,
title = {Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics},
author = {Wei Dai and Chuanfeng Ning and Shiyu Pei and Song Zhu and Xuesong Wang},
journal= {arXiv preprint arXiv:2205.13191},
year = {2022}
}