可视化交叉熵与平方误差神经网络损失函数的吸引域

对神经网络损失曲面的驻点及其相关吸引域进行量化，是深入理解神经网络损失曲面整体性质的重要一步。本文提出一种通过基于梯度的随机采样来可视化吸引域及其相关驻点的新方法。所提出的技术被用于对由两种不同误差度量生成的损失曲面进行实证研究：二次损失与熵损失。实证观察证实了关于神经网络吸引域性质的理论假设。结果表明，与二次损失相比，熵损失具有更强的梯度和更少的驻点，表明熵损失具有更易搜索的地形。二次损失比熵损失对过拟合更具鲁棒性。两种损失均表现出局部极小，但局部极小的数量随维度增加而减少。因此，所提出的可视化技术成功捕捉了神经网络损失曲面所展现的局部极小特性，并可用于神经网络的适应度地形分析。