极限学习机可行吗？理论评估（第二部分）
机器学习
2014-01-27 v1
摘要
极限学习机 (ELM) 可被视为一种两阶段前馈神经网络 (FNN) 学习系统，其在第一阶段随机分配隐藏神经元内部及与之相连的连接，在第二阶段调整与输出神经元的连接。因此，ELM 训练本质上是一个线性学习问题，显著降低了计算负担。大量应用表明，这种计算负担的降低并未削弱泛化能力。然而，这在理论上是否成立一直悬而未决。我们工作的目的是通过分析 ELM 的利弊来研究其理论可行性。在关于该主题的前一部分中，我们指出通过适当选择激活函数，ELM 在期望意义上不会降低泛化能力。在本文中，我们从不同方向展开研究，表明 ELM 的随机性也会导致某些负面后果。一方面，我们发现随机性导致 ELM 在逼近和学习方面存在额外的不确定性问题。另一方面，我们从理论上证明了也存在某种激活函数，使得相应的 ELM 会降低泛化能力。特别是，我们证明了具有 Gaussian kernel 的 ELM 的泛化能力本质上差于具有 Gaussian kernel 的 FNN。为了促进 ELM 的使用，我们还提供了针对这种退化的补救措施。我们发现，成熟的系数正则化技术可以本质上提高泛化能力。所得结果揭示了 ELM 的本质特征，并为如何使用 ELM 提供了理论指导。
引用
@article{arxiv.1401.6240,
title = {Is Extreme Learning Machine Feasible? A Theoretical Assessment (Part II)},
author = {Shaobo Lin and Xia Liu and Jian Fang and Zongben Xu},
journal= {arXiv preprint arXiv:1401.6240},
year = {2014}
}
备注
13 pages