神经网络的几何与训练的若干见解
机器学习
2016-05-03 v1
摘要
神经网络已成功用于分类任务，其实际应用数量快速增长。尽管其流行和广泛使用，训练和分类的许多方面仍未被很好理解。在本文中，我们旨在通过从特征空间视角分析神经网络，对训练和分类提供若干新见解。我们回顾并解释决策区域的形成，并研究其某些组合方面。我们特别强调了神经网络权重与偏置项同决策边界属性以及其他表现出不同分类置信度级别的区域之间的联系。我们展示了误差如何在这些区域中反向传播，并强调它们在梯度形成中的重要作用。这些发现揭示了权重参数缩放与训练样本密度之间的联系。这进一步阐明了梯度消失问题，解释了正则化的必要性，并提出了一种对训练数据子采样以提升性能的方法。
引用
@article{arxiv.1605.00329,
title = {Some Insights into the Geometry and Training of Neural Networks},
author = {Ewout van den Berg},
journal= {arXiv preprint arXiv:1605.00329},
year = {2016}
}