基于加权与剪枝的集成深度随机向量泛函链接网络用于表格数据分类
机器学习
2022-01-24 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
本文中，我们首先将批量归一化引入 edRVFL 网络。这种重归一化方法可帮助网络避免隐藏特征的发散。随后我们提出集成深度随机向量泛函链接（edRVFL）的新变体。加权 edRVFL（WedRVFL）使用加权方法，根据样本在前一层中被分类的置信度赋予训练样本在不同层中不同的权重，从而提升集成的多样性与准确率。此外，还提出了一种基于剪枝的 edRVFL（PedRVFL）。我们在生成下一隐藏层之前，依据神经元对分类的重要性剪除部分劣质神经元。通过此方法，我们确保随机生成的劣质特征不会传播至更深层。进而，提出了加权与剪枝的结合，称为基于加权与剪枝的集成深度随机向量泛函链接网络（WPedRVFL）。我们在 24 个表格 UCI 分类数据集上将其性能与其他最先进的深度前馈神经网络（FNNs）进行比较。实验结果展示了我们所提方法的优越性能。
引用
@article{arxiv.2201.05809,
title = {Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification},
author = {Qiushi Shi and Ponnuthurai Nagaratnam Suganthan and Rakesh Katuwal},
journal= {arXiv preprint arXiv:2201.05809},
year = {2022}
}
备注
8 tables, 8 figures, 31 pages