多项式回归作为神经网络的替代方案
机器学习
2019-04-11 v3 机器学习
摘要
尽管神经网络(NNs)取得了成功,许多人仍对其“黑箱”性质存有顾虑。它们为何有效?在此我们给出一个简单的解析论证:神经网络实际上本质上是多项式回归模型。这一视角对神经网络有诸多启示,例如为神经网络中为何出现收敛问题提供解释,并对避免过拟合给出粗略指导。此外,我们利用这一现象预测并证实了文献中此前未报道的神经网络多重共线性性质。最重要的是,鉴于这种松散的对应关系,人们可以选择常规地使用多项式模型而非神经网络,从而避免后者的一些主要问题,如必须设置大量调参参数以及处理收敛问题。我们给出若干实证结果;在每种情况下,多项式方法的精度都与神经网络方法相当或超越之。一个多功能的开源软件包 polyreg 可供使用。
引用
@article{arxiv.1806.06850,
title = {Polynomial Regression As an Alternative to Neural Nets},
author = {Xi Cheng and Bohdan Khomtchouk and Norman Matloff and Pete Mohanty},
journal= {arXiv preprint arXiv:1806.06850},
year = {2019}
}
备注
23 pages, 1 figure, 13 tables