具有局部连接的极限学习机
机器学习
2018-01-23 v1 人工智能
机器学习
摘要
本文关注 ELM(极限学习机)输入-隐层权重的稀疏化。对于普通前馈神经网络,稀疏化通常通过在网络学习过程中引入某种正则化技术来实现。但该策略不能用于 ELM,因为 ELM 的输入-隐层权重是随机选取而非学习得到的。为此,我们提出一种改进的 ELM,称为 ELM-LC(具有局部连接的 ELM),其设计用于输入-隐层权重的稀疏化如下:将隐层节点与输入节点分别划分为若干对应组,一个输入节点组与其对应的隐层节点组全连接,但不与任何其他隐层节点组连接。如同通常的 ELM,隐层-输入权重随机给定,隐层-输出权重通过最小二乘学习获得。在一些基准问题的数值仿真中,新的 ELM-LC 表现优于传统 ELM。
引用
@article{arxiv.1801.06975,
title = {Extreme Learning Machine with Local Connections},
author = {Feng Li and Sibo Yang and Huanhuan Huang and Wei Wu},
journal= {arXiv preprint arXiv:1801.06975},
year = {2018}
}