XOR人工神经网络的损失曲面

训练人工神经网络涉及在以网络参数为变量的代价（损失）函数所定义的景观上进行优化过程。我们利用为分子科学中势能景观开发的优化工具来探索这些景观。局部极小与过渡态（指数为一的鞍点）的数量，以及过渡态与极小之比，随网络节点数迅速增长。对正则化参数也存在强烈依赖，随着正则化项增大，景观变得更为凸（极小更少）。我们证明，在我们的表述中，具有 $N_h$ 隐藏节点的网络（包括拟合XOR数据所需的最小网络）的驻点，当所有涉及额外节点的权重为零时，也是具有 $N_{h} +1$ 隐藏节点的网络的驻点。因此，为训练XOR数据而优化的较小网络嵌入于较大网络的景观中。我们的结果澄清了该系统极小与鞍点的分类及敏感性（对输入数据扰动的响应）的某些方面，并可能为dropout与网络压缩提供见解。