RVFL 网络的进阶：基于 HawkEye 损失函数的鲁棒分类
机器学习
2024-10-18 v2
摘要
随机向量功能链接(RVFL)是单层前馈神经网络(SLFN)的一个变体，由于其计算成本较低和对过拟合的鲁棒性，已受到广泛关注。尽管具有这些优势，RVFL 网络依赖平方误差损失函数，使其对异常值和噪声高度敏感，导致在实际应用中模型性能下降。为此，我们提出将 HawkEye 损失(H-loss)函数纳入 RVFL 框架。H-loss 函数具有良好的数学特性，包括光滑性和有界性，同时包含不敏感区。每项特性都带来其自身优势：1) 有界性限制了极端误差的影响，增强了对异常值的鲁棒性；2) 光滑性促进了基于梯度的优化算法的使用，确保稳定高效的收敛；3) 不敏感区缓解了小 discrepancy 和噪声的影响。凭借 H-loss 函数，我们将其嵌入 RVFL 框架，开发出一种新型鲁棒 RVFL 模型，称为 H-RVFL。值得注意的是，本工作填补了目前尚无人将有界损失函数纳入 RVFL 的空白。针对所提出 H-RVFL 的非凸优化问题，本文有效地采用 Nesterov 加速梯度(NAG)算法求解，同时讨论了其计算复杂度。通过在 UCI 和 KEEL 存储库中 40 个基准数据集上的大量实验验证了所提出 H-RVFL 模型的有效性，其中包括带噪声和无标签噪声的数据集。结果表明，该模型在鲁棒性和效率方面均实现了显著提升，使 H-RVFL 模型成为应用于噪声和异常值密集环境的强大工具。
引用
@article{arxiv.2410.00510,
title = {Advancing RVFL networks: Robust classification with the HawkEye loss function},
author = {Mushir Akhtar and Ritik Mishra and M. Tanveer and Mohd. Arshad},
journal= {arXiv preprint arXiv:2410.00510},
year = {2024}
}