中文

RVFL 神经网络用于回归时是否需要直接连接?

机器学习 2020-03-31 v1 机器学习

摘要

随机向量函数链接网络(RVFL)被广泛用作分类与回归问题的通用逼近器。RVFL 的一大优势是无反向传播的快速训练。这是因为隐藏节点的权重与偏置随机选取且保持未训练。近来,开发了具有随机化学习的替代架构,其与 RVFL 的不同在于无直接连接且输出层有偏置项。在本研究中,我们探究直接连接与输出节点偏置对 RVFL 回归性能的影响。为生成隐藏节点的随机参数,我们使用经典方法与文献中近期提出的两种新方法。我们在若干具有不同性质目标函数的函数逼近问题上测试 RVFL 性能:非线性、强波动非线性、含线性分量的非线性以及线性。令人惊讶的是,我们发现对于典型非线性回归问题,直接连接与输出节点偏置在提升 RVFL 精度方面并不起重要作用。

关键词

引用

@article{arxiv.2003.13090,
  title  = {Are Direct Links Necessary in RVFL NNs for Regression?},
  author = {Grzegorz Dudek},
  journal= {arXiv preprint arXiv:2003.13090},
  year   = {2020}
}

备注

11 pages, 3 figures