小型人工神经网络剖析

我们研究了最简单的人工神经网络的损失景观和反向传播动力学，该网络代表逻辑异或(XOR)门。九维参数空间中的损失景观的横截面显示出distinctive特征，这有助于理解为什么反向传播能够有效地实现对零损失的收敛，尽管权重和偏置的值仍在漂移。在讨论非随机化和随机化小批量获得的横截面的形状差异后，我们引入基于统计物理的微正规熵作为一种唯一量，用于表征网络的相行为。因此，神经网络的学习可被认为是一个经历类似热力学系统中已知相变的退火过程。这也揭示了随着网络中隐藏神经元数量的增加，损失景观如何简化，消除由有限尺寸效应导致的熵势垒。